As crianças temem que qualquer pessoa possa criar imagens sexuais de deepfake delas, diz o comissário para crianças.

O comissário para crianças da Inglaterra está pedindo ao governo que proíba aplicativos que usam inteligência artificial (IA) para criar imagens sexualmente explícitas de crianças.

Dame Rachel de Souza disse que uma proibição total era necessária para aplicativos que permitem a "nudificação" - onde fotos de pessoas reais são editadas por IA para fazê-las parecer nuas.

Ela disse que o governo estava permitindo que esses aplicativos "não fossem verificados com consequências extremas no mundo real".

Um porta-voz do governo disse que material de abuso sexual infantil era ilegal e que havia planos para novas ofensas por criar, possuir ou distribuir ferramentas de IA projetadas para criar tal conteúdo.

Deepfakes são vídeos, fotos ou clipes de áudio feitos com IA para parecer ou soar real.

Em um relatório publicado na segunda-feira, Dame Rachel disse que a tecnologia estava visando desproporcionalmente meninas e mulheres jovens, com muitos aplicativos sob encomenda parecendo funcionar apenas em corpos femininos.

As meninas estão ativamente evitando postar imagens ou se envolver online para reduzir o risco de serem alvos, de acordo com o relatório, "da mesma forma que as meninas seguem outras regras para se manterem seguras no mundo offline - como não voltar para casa sozinhas à noite".

As crianças temiam que "um estranho, um colega de classe ou até mesmo um amigo" pudessem alvejá-las usando tecnologias que poderiam ser encontradas em plataformas populares de mídia social e de pesquisa.

Dame Rachel disse: "A evolução dessas ferramentas está acontecendo em tal escala e velocidade que pode ser esmagador tentar entender o perigo que elas representam.

"Não podemos ficar parados e permitir que esses aplicativos de IA sob encomenda tenham uma influência tão perigosa sobre a vida das crianças."

É ilegal, de acordo com a Lei de Segurança Online, compartilhar ou ameaçar compartilhar imagens explícitas de deepfake.

O governo anunciou em fevereiro leis para lidar com a ameaça de imagens de abuso sexual infantil sendo geradas por IA, que incluem tornar ilegal possuir, criar ou distribuir ferramentas de IA projetadas para criar tal material.

Dame Rachel disse que isso não vai longe o suficiente, com seu porta-voz dizendo à BBC: "Não deve haver aplicativos de nudificação, não apenas aplicativos que são classificados como geradores de abuso sexual infantil."

Aumento de casos relatados

Em fevereiro, a Internet Watch Foundation (IWF) - uma organização de caridade com sede no Reino Unido, parcialmente financiada por empresas de tecnologia - confirmou 245 relatos de abuso sexual infantil gerado por IA em 2024, em comparação com 51 em 2023, um aumento de 380%.

"Sabemos que esses aplicativos estão sendo abusados nas escolas, e que as imagens rapidamente saem do controle", disse Derek Ray-Hill, diretor executivo interino da IWF, na segunda-feira.

Um porta-voz do Departamento de Ciência, Inovação e Tecnologia disse que criar, possuir ou distribuir material de abuso sexual infantil, incluindo imagens geradas por IA, é "abominável e ilegal".

"Sob a Lei de Segurança Online, plataformas de todos os tamanhos agora têm que remover esse tipo de conteúdo, ou podem enfrentar multas significativas", acrescentou.

"O Reino Unido é o primeiro país do mundo a introduzir novas ofensas de abuso sexual infantil por IA - tornando ilegal possuir, criar ou distribuir ferramentas de IA projetadas para gerar material hediondo de abuso sexual infantil."

Dame Rachel também pediu ao governo que:

• impor obrigações legais aos desenvolvedores de ferramentas de IA generativas para identificar e abordar os riscos que seus produtos representam para as crianças e tomar medidas para mitigar esses riscos
• criar um processo sistêmico para remover imagens de deepfake sexualmente explícitas de crianças da internet
• reconhecer o abuso sexual com deepfake como uma forma de violência contra mulheres e meninas

Paul Whiteman, secretário-geral do sindicato dos dirigentes escolares NAHT, disse que os membros compartilhavam as preocupações do comissário.

Ele disse: "Esta é uma área que precisa urgentemente ser revisada, pois a tecnologia corre o risco de ultrapassar a lei e a educação em torno dela."

O regulador de mídia da Ofcom publicou a versão final de seu Código para Crianças na sexta-feira, que impõe requisitos legais às plataformas que hospedam pornografia e conteúdo que incentiva a automutilação, suicídio ou distúrbios alimentares, para tomar mais medidas para impedir o acesso por crianças.

Os sites devem introduzir verificações de idade reforçadas ou enfrentar grandes multas, disse o regulador.

Dame Rachel criticou o código, dizendo que ele prioriza "os interesses comerciais das empresas de tecnologia em detrimento da segurança das crianças".