OpenAI lança ferramenta gratuita para identificar abuso infantil gerado por IA
Publicado em · Atualizado em

Destaques
- OpenAI disponibiliza gratuitamente um novo classificador para identificar material de abuso sexual infantil (CSAM), incluindo conteúdo gerado por inteligência artificial.
- A nova tecnologia demonstrou ser 48% mais precisa e duas vezes mais eficaz na identificação de material abusivo em testes, reduzindo falsos positivos.
- A empresa também reforça medidas de segurança para o ChatGPT, com suspensão e banimento de contas que tentarem gerar conteúdo ilegal.
A OpenAI anunciou, na segunda-feira (16), o lançamento de uma nova ferramenta gratuita para identificar material de abuso sexual infantil (CSAM), inclusive conteúdos gerados por inteligência artificial. A tecnologia será disponibilizada para instituições selecionadas e visa aprimorar a proteção de menores na internet, complementando outros esforços da empresa contra comportamentos prejudiciais online.
Projetado em parceria com o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), o novo classificador é capaz de identificar sinais visuais de possível abuso sexual infantil em imagens. Ao analisar o conteúdo, ele atribui uma pontuação que auxilia moderadores humanos na revisão. Em comparação com ferramentas anteriores da startup, o sistema reduziu drasticamente os falsos positivos, com 48% menos imagens sinalizadas, segundo a empresa. Além disso, a ferramenta foi duas vezes mais precisa na identificação de material abusivo durante os testes, o que pode agilizar o trabalho de investigadores.
Primeira ferramenta com sinalizador para IA
A novidade se destaca por ser a primeira do tipo a trazer um sinalizador específico para conteúdos gerados por IA. A tecnologia é capaz de detectar imagens abusivas criadas por diferentes ferramentas, incluindo modelos de código aberto e aplicativos que incentivam a prática. A OpenAI afirmou que oferecerá acesso ao classificador a organizações verificadas por meio da API da empresa sem custo algum, tornando a detecção de CSAM mais acessível a organizações de segurança infantil e ao setor em geral.
Medidas de segurança reforçadas
Além da ferramenta de identificação, a OpenAI atualizou as medidas de segurança para o gerador de imagens do ChatGPT. Usuários que tentarem criar imagens abusivas na plataforma receberão um aviso com orientação de especialistas para buscar ajuda. Na primeira ocorrência, a conta será suspensa por 24 horas, com suporte disponível para que o indivíduo procure auxílio. Tentativas subsequentes podem levar a suspensões mais longas ou ao banimento do perfil, além de denúncia às autoridades.
A empresa também publicou guias atualizados para desenvolvedores, orientando sobre como prevenir, detectar e agir em relação a conteúdos prejudiciais. Ferramentas e treinamentos serão disponibilizados para unidades policiais que atuam na proteção às crianças. A OpenAI, liderada por Sam Altman, registrou US$ 10 bilhões em faturamento em seu balanço trimestral mais recente, mas apresentou prejuízo operacional.



