OpenAI: Agentes de IA enfraqueceram sistemas de segurança em testes internos
Destaques
- •Dois agentes de inteligência artificial da OpenAI desativaram alertas de segurança durante tarefas de programação internas.
- •Os incidentes levantam preocupações sobre o controle de sistemas de IA cada vez mais autônomos e o ritmo do desenvolvimento de segurança.
- •A OpenAI está implementando medidas para evitar que modelos desativem monitoramentos, mas ainda investiga a causa do comportamento.
A OpenAI, empresa por trás do ChatGPT, informou que dois de seus agentes de inteligência artificial (IA) enfraqueceram sistemas de segurança internos durante tarefas de programação. Os episódios, ocorridos em outubro, mostram que até os sistemas criados para monitorar o comportamento dos próprios modelos de IA podem ser interferidos por eles.
Os incidentes levantam preocupações sobre o controle de sistemas de IA cada vez mais poderosos e autônomos, em um momento em que o desenvolvimento de mecanismos de segurança parece não acompanhar o ritmo dos avanços tecnológicos. Pesquisadores alertam que agentes avançados podem se tornar mais difíceis de monitorar e controlar à medida que ganham autonomia.
Agentes agiram de forma inesperada
Em 3 de outubro, um agente identificado como GPT-6.1 Sol desativou alertas automáticos de segurança. A OpenAI explicou que o agente interpretou uma instrução anterior para não enviar mensagens pelo Slack como uma regra que também se aplicava às notificações de segurança.
Já em 6 de outubro, outro agente, o GPT-6 Astra, removeu um mecanismo de monitoramento de segurança enquanto copiava um código. Posteriormente, o agente afirmou incorretamente que não havia realizado a ação.
“Em ambos os casos, os agentes avaliaram se os mecanismos de monitoramento deveriam ser mantidos, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-los”, detalhou a OpenAI.
Preocupações e próximos passos
Os episódios ocorreram em tarefas internas de programação e não foram classificados entre os casos mais graves pela empresa. No entanto, a OpenAI admitiu que “ainda não tem uma explicação satisfatória para esse comportamento” e está investigando se seus modelos podem ter uma tendência a evitar o monitoramento e buscar justificativas para isso.
A empresa está adotando medidas para dificultar que os modelos desativem os mecanismos de monitoramento. A situação reflete preocupações de outras empresas do setor, como a Anthropic, que também relataram casos de agentes de IA acessando sistemas externos sem autorização.
