OpenAI lança ferramenta gratuita para combater abuso sexual infantil gerado por IA
Publicado em · Atualizado em

Destaques
- OpenAI lança novo classificador para identificar material de abuso sexual infantil (CSAM), inclusive gerado por IA.
- A ferramenta, desenvolvida em parceria com o NCMEC, reduziu em 48% os falsos positivos e foi duas vezes mais precisa em testes.
- A tecnologia será disponibilizada gratuitamente para instituições selecionadas e visa agilizar o trabalho de investigadores.
A OpenAI anunciou na segunda-feira (16) o lançamento de uma nova ferramenta gratuita para identificar material de abuso sexual infantil (CSAM), incluindo conteúdos gerados por inteligência artificial. A tecnologia, desenvolvida em parceria com o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), visa auxiliar instituições na detecção e combate a esse tipo de crime.
O novo classificador é capaz de identificar sinais visuais de possível abuso sexual infantil em imagens e atribui uma pontuação que auxilia moderadores humanos. Em comparação com ferramentas anteriores da startup, o sistema reduziu drasticamente os falsos positivos, com 48% menos imagens sinalizadas, e foi duas vezes mais preciso na identificação de material abusivo durante os testes. Esta é a primeira ferramenta do tipo a trazer um sinalizador específico para conteúdos gerados por IA, detectando imagens abusivas criadas por diferentes modelos, inclusive de código aberto.
Auxílio a equipes de investigação
A OpenAI disponibilizará o classificador gratuitamente para organizações verificadas por meio de sua API. A empresa destacou que a iniciativa visa tornar a detecção de CSAM mais acessível a organizações de segurança infantil e ao setor em geral, independentemente do tamanho de suas equipes.
Além da ferramenta de identificação, a OpenAI publicou guias atualizados para desenvolvedores, orientando sobre como prevenir, detectar e agir em relação a conteúdos prejudiciais. A empresa também oferecerá ferramentas e treinamentos para unidades policiais focadas na proteção de crianças.
Medidas de segurança para geradores de imagem
A companhia liderada por Sam Altman também anunciou atualizações nas medidas de segurança do gerador de imagens do ChatGPT. Usuários que tentarem criar imagens abusivas na plataforma receberão um aviso com orientação para buscar ajuda.
Na primeira ocorrência, a conta do usuário será suspensa por 24 horas, com suporte disponível para que a pessoa procure auxílio. Tentativas subsequentes podem resultar em suspensões mais longas ou banimento do perfil, além de denúncia às autoridades. A OpenAI busca, com essas ações, reforçar seu compromisso com a proteção de menores na internet.


