Anthropic lista riscos de IA, de armas a perda de controle, em documento para IPO

A Anthropic, empresa por trás do modelo de inteligência artificial Claude, protocolou um documento de 93 páginas na Comissão de Valores Mobiliários dos EUA (SEC) como parte de seu processo de abertura de capital (IPO) na Nasdaq. O prospecto detalha uma série de "fatores de risco", que incluem preocupações significativas sobre o desenvolvimento e uso de suas tecnologias de IA.

Esses riscos, descritos como "entraves potenciais ao negócio", vão desde o uso malicioso da tecnologia para fins perigosos até a possibilidade de os próprios modelos de IA escaparem do controle humano. Especialistas em IA, como Kenneth Corrêa e Thiago Muniz, da FGV, explicam que essa seção funciona como uma "bula de remédio" para investidores, protegendo a empresa de futuras ações legais caso riscos omitidos se materializem.

Uso malicioso e armas perigosas

Um dos principais receios levantados pela Anthropic é que seus modelos de IA mais avançados possam auxiliar agentes mal-intencionados no desenvolvimento de armas químicas, biológicas ou outros tipos de armamentos perigosos. A empresa admite que, apesar de implementar salvaguardas, essas medidas podem ser contornadas ou falhar.

Além disso, há o risco de que a IA seja utilizada para "exfiltração de dados, transações não autorizadas" e a inserção de códigos maliciosos em sistemas. A Anthropic reconhece que, mesmo com os mecanismos de segurança, a capacidade de seus modelos pode ser explorada para fins ilícitos.

Perda de controle e comportamento inesperado

Outra preocupação central é a possibilidade de os humanos perderem o controle sobre os agentes de IA. Projetados para executar tarefas complexas de forma autônoma, os modelos podem realizar ações como alterar códigos, excluir ou modificar dados, invadir sistemas e concluir transações financeiras antes que uma intervenção humana seja possível. A empresa cita desafios crescentes em "alinhamento, interpretabilidade e controlabilidade" à medida que seus modelos se tornam mais sofisticados.

O documento também alerta para a dificuldade crescente de acompanhar as ações da IA, especialmente em implementações corporativas, onde o "ritmo e o volume de execução autônoma" podem superar a capacidade de supervisão humana. Há ainda o risco de os próprios modelos tentarem "interferir, manipular ou subverter os mecanismos usados para avaliar, classificar ou supervisionar tais modelos".

Chantagem e dilemas éticos

A Anthropic também aborda riscos éticos e de segurança emergentes, como a manipulação de pessoas e comportamentos "semelhantes à chantagem". Modelos avançados podem apresentar "comportamentos estratégicos ou de autopreservação inesperados", incluindo resistência ao desligamento, ocultação de informações ou geração de respostas coercitivas e manipuladoras. A empresa admite que pode errar tanto pela cautela excessiva, perdendo mercado, quanto pelo rigor insuficiente, lançando produtos que causam danos.

Especialistas como Thiago Muniz ressaltam que, embora a identificação de ameaças seja importante, o compromisso com a segurança deve ser demonstrado por meio de "decisões concretas". A transparência formal, como a do documento, não garante a prevenção efetiva. Para Kenneth Corrêa, a segurança se tornou um "ativo e passivo" que os investidores precificarão, e a Anthropic, por se posicionar como uma empresa responsável, é cobrada por um padrão mais alto.