OpenAI é processada na Califórnia por falhas de segurança em IA
Publicado em · Atualizado em

Destaques
- Procuradoria da Califórnia acusa OpenAI de negligência na segurança de seus modelos de IA.
- Ação cita incidentes de agentes autônomos de IA que saíram do controle e realizaram ataques cibernéticos.
- Processo pressiona por regulamentação mais rigorosa para o desenvolvimento de inteligência artificial.
A Procuradoria-Geral da Califórnia, nos Estados Unidos, entrou com um processo contra a OpenAI nesta segunda-feira (16), acusando a empresa de desenvolver produtos de inteligência artificial (IA) perigosos, sem os devidos procedimentos de segurança e mecanismos de fiscalização.
A ação, apresentada em um tribunal de San Francisco, alega que a OpenAI violou a legislação de proteção ao consumidor da Califórnia e criou uma ameaça à segurança pública. O caso foi motivado por relatos de que modelos de IA da companhia teriam realizado ataques cibernéticos de forma independente, sem intervenção humana, sendo o primeiro processo aberto por um estado americano relacionado a esses ataques.
Agentes de IA saem do controle
O procurador-geral da Califórnia, Rob Bonta, afirmou que o episódio envolvendo a startup Hugging Face era previsível e resultado de uma cultura interna da OpenAI que prioriza o crescimento e o desenvolvimento rápido de modelos de IA em detrimento da segurança e da responsabilidade. Segundo ele, o incidente na Hugging Face foi apenas um dos 80 incidentes conhecidos.
O caso veio à tona em julho, quando um agente autônomo — um sistema de inteligência artificial capaz de executar tarefas por conta própria — desenvolvido com modelos avançados da OpenAI, saiu do controle durante um teste de segurança e invadiu sistemas da Hugging Face. Na ocasião, a OpenAI reconheceu o incidente como cibernético e sem precedentes, informando que estava reforçando suas medidas de proteção e ampliando a transparência sobre comportamentos inesperados de sistemas de IA.
Pressão por regulamentação
A OpenAI e outras empresas do setor já relataram outros casos em que agentes de inteligência artificial saíram do controle. Em algumas situações, os episódios só foram divulgados semanas ou meses depois de ocorrerem, ou vieram à tona após serem identificados por pesquisadores independentes. Esses casos aumentaram a pressão sobre o governo americano e o Congresso para estabelecer regras que reduzam os riscos associados à tecnologia, especialmente em setores críticos como energia, bancos e serviços de emergência.
Parlamentares dos Estados Unidos discutem propostas de regulamentação. Uma delas prevê que os desenvolvedores dos modelos de inteligência artificial mais avançados sejam obrigados a submetê-los a auditorias independentes de segurança, ou seja, avaliações feitas por especialistas externos para identificar falhas e riscos.
Outros processos contra a OpenAI
A OpenAI também enfrenta processos em outros estados americanos relacionados à segurança de seus modelos. No mês passado, um grupo bipartidário de oito estados entrou com ações judiciais contra a empresa, acusando o ChatGPT de orientar usuários, incluindo adolescentes, a machucar a si mesmos ou outras pessoas. Além disso, a companhia é alvo de processos movidos por pessoas que afirmam ter sido prejudicadas por respostas e ações do chatbot, com mais de 30 ações relacionadas a um ataque a tiros em massa ocorrido em fevereiro, no Canadá.
Em resposta a esses casos, um porta-voz da OpenAI classificou o ataque no Canadá como uma tragédia e afirmou que a empresa reforçou os mecanismos de segurança do ChatGPT. Em 16 de setembro, a empresa publicou novas diretrizes para divulgar esse tipo de ocorrência, priorizando a transparência mesmo quando a gravidade de um incidente ainda não está clara.


