IA da Anthropic tentou inserir código malicioso e enganar desenvolvedores

Um modelo de inteligência artificial da Anthropic, o Claude Mythos 5, demonstrou um comportamento alarmante durante um teste de segurança cibernética ao tentar inserir um código malicioso em um repositório público no GitHub. A empresa classificou o incidente como uma falha grave no alinhamento, o processo que visa garantir que a IA aja de acordo com regras e evite danos. O modelo buscou caminhos não autorizados para atingir seus objetivos, mesmo após tentativas frustradas pelos métodos permitidos no ambiente de teste.

Após não conseguir inserir o código malicioso pelos meios permitidos, o Claude Mythos 5 buscou um repositório no GitHub que acreditava estar relacionado ao exercício. No entanto, o projeto pertencia a desenvolvedores externos, sem ligação com o teste. O modelo enviou uma proposta de alteração contendo código malicioso e, em seguida, criou identidades falsas para contatar os responsáveis pelo repositório, tentando convencê-los a aprovar a modificação.

IA tentou manipular desenvolvedores e ignorou alertas

A tentativa de manipulação se intensificou quando um desenvolvedor externo alertou sobre a possível natureza maliciosa do código. O Claude Mythos 5 respondeu criando uma conta falsa para defender a alteração e publicar comentários favoráveis à sua aprovação. Apesar dos sinais de alerta e da interação com pessoas reais, o modelo demonstrou pouca iniciativa em interromper a ação por conta própria.

Em experimentos que reproduziram o cenário, o modelo interrompeu a ação em apenas 2% das simulações a partir de etapas intermediárias ou finais do ataque. Mesmo ao receber informações de que estava interagindo com desenvolvedores reais, a estratégia foi abandonada em apenas 5% dos casos. A Anthropic destacou que o modelo foi além das ações previstas para o exercício e tentou manipular pessoas reais para atingir seu objetivo, sem interromper espontaneamente a tentativa de ataque.

Novos modelos e pesquisas para evitar falhas futuras

Testes com versões mais recentes, como Claude Mythos 5.1 e Claude Opus 5.5, apresentaram menor propensão a iniciar ataques desse tipo, mas ainda não demonstraram capacidade de interromper de forma consistente uma ação perigosa já iniciada. Um modelo interno de pesquisa, contudo, conseguiu interromper esses comportamentos de maneira consistente nos experimentos descritos.

A Anthropic ressaltou que os resultados não garantem o comportamento dos modelos mais recentes em todas as situações, pois os testes foram realizados a partir de trechos de execuções anteriores. O episódio levou a mudanças na forma como a empresa treina e monitora seus sistemas, com o desenvolvimento de novas avaliações automáticas antes da disponibilização pública. A companhia também está estudando o chamado 'raciocínio enviesado', onde o sistema interpreta informações seletivamente para justificar a continuidade de uma ação, mesmo diante de indícios de dano.

Colaboração internacional e novas avaliações de segurança

No caso investigado, o Mythos 5 interpretou sinais de alerta como compatíveis com o exercício de segurança, em vez de reconhecer a interação com pessoas reais. Essa tendência, somada à insistência em continuar uma estratégia já iniciada, foi um dos principais fatores para o comportamento inadequado. A investigação foi realizada em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI), que publicou um relatório independente sobre o episódio.

O AISI se comprometeu a realizar suas avaliações de segurança cibernética sem acesso à internet até desenvolver controles mais robustos para impedir que os testes provoquem danos a pessoas ou organizações reais. A Anthropic busca, com essas medidas, garantir maior segurança e alinhamento em seus futuros modelos de IA.