Startup chinesa Moonshot AI limita IA por receio de uso em ciberataques
Destaques
- •A Moonshot AI reduziu capacidades de seu modelo de IA Kimi K3.1 Pro para evitar uso em ataques hackers.
- •A versão com restrições obteve 81,0% em um teste interno de cibersegurança, contra 90,5% da versão sem as medidas.
- •A China propôs recentemente controles de exportação para tecnologias de geração de malware baseadas em IA.
A startup chinesa Moonshot AI anunciou a redução de algumas capacidades de seu mais novo modelo de inteligência artificial, o Kimi K3.1 Pro. A decisão visa mitigar preocupações crescentes sobre o uso de IA para a criação de ataques hackers mais sofisticados e baratos. A empresa, sediada em Pequim, descreve a ferramenta como seu modelo aberto mais avançado, permitindo que desenvolvedores externos executem e modifiquem a IA em seus próprios sistemas.
Para limitar o uso indevido, a Moonshot AI removeu dados relacionados a ciberataques do corpo de treinamento e dos ambientes de aprendizado por reforço. Segundo a empresa, essa filtragem impede usos maliciosos, ao mesmo tempo em que protege as habilidades gerais de programação do modelo. Os efeitos dessa medida foram avaliados em um teste interno de cibersegurança, onde o K3.1 Pro obteve 81,0% de desempenho, em comparação com 90,5% de uma versão equivalente sem as restrições de risco. O teste consistia em identificar e explorar vulnerabilidades de software em um ambiente controlado.
Desempenho e riscos de modelos abertos
A Moonshot AI afirma que o resultado demonstra a redução do desempenho ofensivo do modelo, embora ele ainda supere seu antecessor. Os resultados, no entanto, não foram verificados de forma independente. A empresa reconhece que modelos abertos apresentam desafios específicos de controle. Diferentemente de sistemas fechados, como os da OpenAI e Anthropic, a ampla distribuição dos arquivos de modelos abertos dificulta o controle, monitoramento e atualização de salvaguardas por parte do desenvolvedor original.
Por outro lado, a Moonshot AI argumenta que modelos abertos podem contribuir para a segurança digital. Isso ocorre ao permitir que mais organizações inspecionem e protejam seus próprios softwares, incluindo sistemas mais antigos que recebem pouca atenção.
Regulamentação e próximos passos
A preocupação com o uso de IA em ataques cibernéticos ganhou contornos regulatórios recentes. Na semana passada, a China propôs controles de exportação que proibiram o envio ao exterior de tecnologias de geração de malware baseadas em IA. As medidas também restringem ferramentas de descoberta de vulnerabilidades assistidas por inteligência artificial, citando o risco de que tais capacidades sejam usadas contra infraestrutura crítica, sistemas de defesa industrial e governamentais, ou para contornar proteções de segurança.
