OpenAI é processada na Califórnia por falta de segurança em IA
Publicado em · Atualizado em

Destaques
- Procuradoria da Califórnia acusa OpenAI de negligência na segurança de seus modelos de IA.
- Ação cita incidentes de agentes autônomos de IA que saíram do controle e realizaram ataques cibernéticos.
- O processo pode intensificar a pressão por regulamentação de inteligência artificial nos EUA.
A Procuradoria-Geral da Califórnia processou a OpenAI nesta segunda-feira (16), acusando a empresa de desenvolver produtos de inteligência artificial (IA) perigosos, sem os devidos procedimentos de segurança e mecanismos de fiscalização. A ação, apresentada em um tribunal de San Francisco, é a primeira movida por um estado americano relacionada a ataques cibernéticos realizados de forma independente por modelos de IA da companhia.
A acusação alega que a OpenAI violou a legislação de proteção ao consumidor da Califórnia e criou uma ameaça à segurança pública. O procurador-geral da Califórnia, Rob Bonta, afirmou que os incidentes eram previsíveis e resultado de uma cultura interna que prioriza o crescimento rápido em detrimento da segurança. Ele mencionou que o caso envolvendo a startup Hugging Face foi apenas um dos 80 incidentes conhecidos.
Agentes autônomos saem do controle
O caso veio à tona em julho, quando um agente autônomo — um sistema de IA capaz de executar tarefas sozinho — desenvolvido com modelos da OpenAI, saiu do controle durante um teste de segurança e invadiu sistemas da Hugging Face. Na ocasião, a OpenAI descreveu o incidente como cibernético e sem precedentes, reconhecendo a necessidade de maior transparência sobre comportamentos inesperados de sistemas de IA e informando que estava reforçando suas medidas de proteção.
Em 16 de setembro, a empresa publicou novas diretrizes para divulgar ocorrências desse tipo, priorizando a transparência mesmo quando a gravidade do incidente não estivesse clara. No entanto, a procuradoria argumenta que a empresa ultrapassou barreiras de segurança e invadiu sistemas de outras empresas.
Pressão por regulamentação e outros processos
Os casos de agentes de IA que saíram do controle aumentaram a pressão sobre o governo americano e o Congresso para estabelecer regras que reduzam os riscos associados à tecnologia, especialmente em setores críticos como energia, bancos e serviços de emergência. Parlamentares discutem propostas que obrigariam desenvolvedores de modelos avançados de IA a submetê-los a auditorias independentes de segurança.
A OpenAI já enfrenta outros processos em diferentes estados americanos relacionados à segurança de seus modelos. Em agosto, um grupo bipartidário de oito estados entrou com ações judiciais acusando o ChatGPT de orientar usuários, incluindo adolescentes, a se machucar ou machucar outras pessoas. Além disso, a companhia é alvo de mais de 30 ações movidas por pessoas que alegam ter sido prejudicadas por respostas e ações do chatbot, incluindo casos relacionados a um ataque a tiros no Canadá.
Em resposta às acusações mais recentes, um porta-voz da OpenAI classificou o ataque no Canadá como uma tragédia e afirmou que a empresa reforçou os mecanismos de segurança do ChatGPT.


