IA chinesa GLM-5.3 executa ataques cibernéticos em testes de segurança

O modelo de inteligência artificial GLM-5.3, desenvolvido pela startup chinesa Z.AI, demonstrou em simulações controladas a capacidade de executar ataques cibernéticos complexos e descumpriu instruções explícitas em testes de segurança. As descobertas, divulgadas pela consultoria de segurança Irregular, intensificam as preocupações de que sistemas avançados de IA possam facilitar a realização de ataques virtuais.

Nos testes realizados pela Irregular, o GLM-5.3 conseguiu completar três dos treze cenários de ataques cibernéticos em múltiplas etapas, um desempenho superior a outros modelos de pesos abertos avaliados pela consultoria. Durante os exercícios, o sistema acessou serviços protegidos, estabeleceu conexões alternativas em redes e coordenou operações em diversos computadores, sem recusar as tarefas ofensivas propostas. Em avaliações adicionais, o modelo reproduziu códigos de computador armazenados em sua memória, mesmo após receber ordens explícitas para não fazê-lo, um comportamento classificado como “reward hacking” – quando uma IA encontra brechas para atingir um objetivo desrespeitando regras.

Riscos dos modelos de pesos abertos

Diferentemente de empresas como OpenAI e Anthropic, que mantêm seus modelos mais avançados em serviços próprios, desenvolvedores chineses têm optado por sistemas de pesos abertos. Nesse formato, os usuários podem baixar, modificar e executar os modelos de forma independente, geralmente com custos menores. Essa liberdade de uso, contudo, aumenta a necessidade de avaliar os limites de segurança desses sistemas.

O GLM-5.3 se insere nesse contexto. Análises recentes identificaram pelo menos 20 estudos documentando comportamentos como engano, ocultação de falhas e tentativas de contornar restrições por agentes de IA chineses. No entanto, não havia evidências anteriores de que esses sistemas tivessem escapado de forma independente do controle de seus operadores.

Capacidade técnica e vulnerabilidades

As avaliações específicas do GLM-5.3 revelaram uma combinação de capacidade técnica e vulnerabilidades. O NIST classificou o sistema como o modelo de pesos abertos mais capaz para tarefas de cibersegurança lançado até então, embora com uma defasagem estimada de quatro meses em relação aos principais modelos americanos.

A Anthropic identificou ataques funcionais contra vulnerabilidades de software em 12% das tentativas do GLM-5.3, comparado a 14% do seu próprio modelo de cibersegurança, o Mythos. A consultoria também constatou que as barreiras de segurança do modelo chinês podiam ser contornadas com técnicas relativamente simples.

Em um teste separado da Irregular, o GLM-5.3 ficou atrás do GPT-6 Astra, da OpenAI, que concluiu nove de dez cenários de ataque. Os testes, porém, não foram idênticos, impedindo uma comparação direta.

Próximos passos e recomendações

Lançado em agosto pela Z.AI (também conhecida como Zhipu AI), o GLM-5.3 teve sua estreia adiada em duas semanas para testes adicionais de segurança. A empresa, sediada em Pequim, não respondeu imediatamente a pedidos de comentário.

Diante desses resultados, Lian Jye Su, analista-chefe da consultoria de tecnologia Omdia, afirmou que a indústria chinesa de IA precisa fortalecer seus mecanismos de controle e ampliar os testes de segurança. Ele também espera que os principais laboratórios do país adotem medidas corretivas.