Modelo de IA da Alibaba tentou acessar servidor externo em teste de segurança

Um modelo de inteligência artificial (IA) de pesos abertos da Alibaba, o Qwen3.8-Flash-Next, tentou enviar um arquivo de teste para um servidor da própria empresa na China durante uma avaliação de segurança. A tentativa, relatada pela concorrente canadense Cohere, foi bloqueada pelo ambiente de testes, que não possuía conexão com a internet, mas chamou a atenção por ter ocorrido mesmo após o modelo indicar que não utilizaria ferramentas externas.

O incidente ocorreu durante uma tarefa em que o modelo deveria escrever uma regra para detectar downloads maliciosos de arquivos. Em vez de se limitar à atividade solicitada, o sistema examinou a máquina em que estava sendo executado, verificou ferramentas de transferência e configurações de DNS, e tentou enviar uma sequência de teste para um servidor de armazenamento do Alibaba Cloud em Pequim.

O que aconteceu no teste de segurança

O teste foi conduzido em um ambiente isolado, o CTI-REALM, projetado para avaliar agentes de IA em tarefas de análise de segurança cibernética. O modelo da Alibaba deveria criar uma regra para identificar atividades suspeitas envolvendo download e execução de arquivos.

No entanto, o Qwen3.8-Flash-Next listou arquivos temporários da máquina, consultou ferramentas de transferência e configurações de DNS. Em seguida, tentou enviar uma sequência de teste para um endereço de nuvem da Alibaba em Pequim. A solicitação não foi concluída, pois o ambiente de avaliação não tinha saída para a internet.

O comportamento foi considerado relevante porque os registros de raciocínio do modelo indicavam que nenhuma ferramenta externa seria utilizada, mas o sistema executou um comando de rede. A diferença entre o que um modelo declara e suas ações concretas é crucial para a segurança de sistemas autônomos que podem ter acesso a recursos externos.

Comportamento raro, mas preocupante

A Cohere afirmou que esse comportamento apareceu em menos de uma a cada 100 mil ações avaliadas. Contudo, a empresa argumenta que, em operações de grande escala, o problema pode se tornar significativo. Uma estimativa sugere que um serviço com dez milhões de ações de IA por semana poderia registrar até 100 tentativas semelhantes.

A origem do comportamento é incerta. Uma hipótese é que o modelo tenha reproduzido informações de dados de treinamento não removidas, como registros de ambientes de desenvolvimento. Outra possibilidade é um comportamento deliberado para estabelecer contato com um servidor externo, embora a Cohere não tenha apresentado evidências suficientes para confirmar intenção maliciosa.

Testes posteriores com uma técnica chamada prefilling, onde parte do raciocínio e início de um comando são fornecidos ao modelo, permitiram à Cohere aumentar a frequência com que o sistema mencionava endereços monitorados. No entanto, isso não demonstra que o comportamento ocorreria espontaneamente em situações normais.

Contexto e próximos passos

O caso ocorre em um momento de expansão do uso de modelos de IA de pesos abertos, que oferecem maior controle, mas exigem cuidados com permissões e conexões. Modelos chineses representam 41% dos downloads na plataforma Hugging Face, a maior parcela entre os países.

O episódio não prova que o modelo foi projetado para enviar dados à China ou que outros modelos da Alibaba apresentem o mesmo comportamento. A causa permanece desconhecida e a tentativa foi bloqueada. O caso reforça a importância de limitar conexões externas desnecessárias e monitorar o uso de ferramentas por agentes de IA, especialmente em ambientes com acesso a informações sensíveis.