O Discord admitiu ao governo federal que havia sinais de risco no ambiente virtual relacionado à morte de uma adolescente de 13 anos, mas seu sistema não disparou um alerta. A plataforma informou que os indícios foram processados por ferramentas automatizadas, porém receberam uma pontuação muito baixa para provocar uma intervenção.
A informação consta de documento enviado em 10 de agosto à Secretaria Nacional de Direitos Digitais, do Ministério da Justiça. O governo havia questionado a empresa sobre uma transmissão ao vivo na qual a menina teria sido induzida por integrantes de um grupo virtual à automutilação e à morte.
Depois do episódio, o Discord revisou o servidor e identificou nomes, funções atribuídas a usuários e mensagens de texto associados a um “ecossistema mais amplo de alto dano”. Segundo a própria empresa, esses sinais não foram suficientes, no momento em que apareceram, para acionar uma medida automática ou levar o conteúdo imediatamente à análise de uma pessoa.
O sistema de aprendizado de máquina atribuiu à transmissão uma pontuação de risco de 0,12. O limite estabelecido pelo Discord para uma identificação automatizada era de 0,95. A empresa afirmou que está reavaliando o resultado para verificar se é necessário tornar o mecanismo mais sensível, mas alegou que também precisa evitar um número excessivo de falsos positivos.
A explicação foi contestada pela Agência Nacional de Proteção de Dados. Em nota técnica, a ANPD afirmou que o episódio demonstra uma falha grave do modelo porque uma situação de extrema gravidade recebeu sinalização de risco muito baixa. Para a agência, diante de ameaça de lesão grave, automutilação ou morte de menores, o custo de deixar um caso real passar é muito maior do que o de encaminhar conteúdo suspeito indevidamente para análise humana.
O Discord também informou que recebeu uma comunicação de um órgão de segurança às 3h50 e retirou do ar o servidor menos de 25 minutos depois. A empresa sustenta ainda que havia desativado antes da morte outro servidor privado em que integrantes teriam incentivado a automutilação da adolescente e afirma que parte da atividade criminosa começou em outras plataformas.
Nesta quarta-feira (12), a ANPD determinou que o Discord suspenda no Brasil as transmissões ao vivo e outros recursos equivalentes de compartilhamento de vídeo. A plataforma terá três dias úteis para cumprir a medida e só poderá restabelecer essas ferramentas depois de comprovar a adoção de mecanismos efetivos para proteger crianças e adolescentes.
