Judiciário Brasileiro Alerta para Riscos de Agentes de IA Manipulados
Publicado em · Atualizado em

Destaques
- Juízes e especialistas alertam para a vulnerabilidade de agentes de IA no Judiciário brasileiro, que podem ser manipulados para vazar dados sigilosos.
- A prática de 'prompt injection' já resultou em multas no STJ e STF, com 40 casos confirmados de comandos ocultos em documentos processuais.
- O CNJ regulamenta o uso de IA, mas a fiscalização do uso individual por magistrados e o uso de plataformas comerciais geram debates e preocupações.
O Judiciário brasileiro enfrenta um novo desafio de segurança cibernética com o uso crescente de inteligência artificial (IA): agentes de IA, programas automatizados para tarefas rotineiras em tribunais, podem ser manipulados para acessar e vazar informações sigilosas de processos, senhas e dados pessoais de magistrados e servidores. O alerta vem de George Marmelstein, juiz federal e integrante do Comitê Nacional de Inteligência Artificial do Judiciário, ligado ao Conselho Nacional de Justiça (CNJ).
A preocupação é uma evolução de um problema já identificado, conhecido como prompt injection, onde instruções ocultas são inseridas em documentos para influenciar ferramentas de IA. Essa prática já resultou em multas no Superior Tribunal de Justiça (STJ) e no Supremo Tribunal Federal (STF), com 83 episódios identificados inicialmente. A vulnerabilidade reside na dificuldade dos sistemas de IA em distinguir entre as ordens do juiz e as instruções maliciosas ocultas, que podem estar disfarçadas em letras brancas sobre fundos brancos, fontes minúsculas ou códigos embutidos.
Agentes de IA: Um Risco Ampliado
Enquanto o uso comum da IA envolve um prompt (pedido) e uma resposta que é avaliada por um humano, os agentes de IA são configurados para executar tarefas de forma autônoma, com permissões para agir em nome do usuário. Eles podem abrir arquivos, navegar na internet, preencher formulários e enviar e-mails, encadeando ações sem aprovação a cada passo. Se um agente for manipulado, a ação maliciosa pode ser executada antes mesmo de ser percebida.
Marmelstein destaca que o risco é maior com esses agentes, pois eles têm a capacidade de "fazer", como executar códigos maliciosos que podem roubar credenciais e dados. Um exemplo hipotético envolve um agente encarregado de organizar processos que, ao encontrar uma instrução oculta, envia uma lista de processos sob segredo de justiça para um endereço externo sem o conhecimento do juiz.
Regulamentação e Vulnerabilidades no Judiciário
O CNJ está ciente dessas vulnerabilidades e, em maio, aprovou o Programa de Segurança Adversarial para Sistemas de Inteligência Artificial do Poder Judiciário (PROSEG-IA) para lidar com riscos de manipulação. O ministro Luis Felipe Salomão, presidente do STJ, informou que a corte identificou 116 casos suspeitos de comandos ocultos em documentos processuais, com 40 confirmados após análise humana, em um universo de quase 6 milhões de peças analisadas.
A expansão do uso da IA na Justiça é notável, com 178 projetos identificados em 2024 e 45,8% dos tribunais utilizando IA generativa. Curiosamente, 83% dos servidores informaram não comunicar o uso da tecnologia no trabalho. O STJ, em conjunto com o CNJ, planeja identificar "ondas de litigiosidade" para atuar preventivamente.
Debates sobre o Uso de Plataformas Comerciais e Segurança
Especialistas como Matheus Puppe e João Ataíde apontam que o risco de vazamento de dados por agentes de IA depende não apenas da manipulação, mas também das permissões concedidas e da segurança dos ambientes digitais. A advogada Bianca Mollicone e o professor Olavo Hamilton defendem que as partes de um processo devem poder questionar o uso da tecnologia se ele comprometer a decisão.
O uso de plataformas comerciais como ChatGPT e Claude no Judiciário gera divergência. Enquanto o CNJ permite seu uso sob condições, a professora Ana Frazão expressa preocupação com potenciais conflitos de interesse e a dificuldade de fiscalização, argumentando que o Judiciário deveria proibir seu uso para garantir as garantias processuais. A regulamentação do CNJ, publicada em março de 2025 e em vigor desde julho, permite o uso de IA como ferramenta de apoio, mas proíbe a delegação de etapas centrais do julgamento, como a avaliação de provas e a decisão de mérito, mantendo a responsabilidade final com o magistrado.
A fiscalização do uso individual de IA por magistrados, especialmente em dispositivos pessoais, é um desafio reconhecido. O uso de processos sigilosos em modelos privados contratados individualmente por juízes é proibido, mas há divergência sobre a possibilidade de uso em contratações institucionais com boa governança de dados. O STJ aplicou multas a advogados por uso de comandos ocultos, e a OAB e o Ministério Público podem apurar condutas ético-disciplinares e criminais.



