IA no Judiciário: Riscos de vazamento e manipulação de processos sigilosos
Publicado em · Atualizado em
Destaques
- Agentes de IA no Judiciário podem ser manipulados para vazar informações sigilosas ou dados pessoais.
- O CNJ regulamenta o uso de IA, permitindo tarefas de apoio, mas proibindo a delegação de julgamento humano.
- O STJ e o CNJ buscam identificar 'ondas de litigiosidade' para atuar preventivamente.
O uso de inteligência artificial (IA) no Judiciário brasileiro apresenta um novo desafio para a segurança cibernética: agentes de IA, programas automatizados para tarefas rotineiras, podem ser manipulados para acessar e vazar informações sigilosas de processos ou dados pessoais de magistrados e servidores. O alerta vem do juiz federal George Marmelstein, integrante do Comitê Nacional de Inteligência Artificial do Judiciário (CNJ).
A vulnerabilidade, conhecida como prompt injection, consiste em inserir instruções ocultas em documentos que a IA processa. A ferramenta pode confundir essas instruções com ordens legítimas, explorando a dificuldade dos sistemas em diferenciar conteúdo e comandos. Uma instrução maliciosa, disfarçada como parte da tarefa, pode levar o agente a executar ações indesejadas, como enviar listas de processos sigilosos para endereços externos, sem que o juiz perceba a tempo.
Agentes de IA: Um risco ampliado
Enquanto o uso comum de IA exige que um humano aprove a resposta, os agentes de IA são configurados para agir autonomamente. Eles podem executar códigos, criar documentos e interagir com sistemas, o que aumenta o risco em caso de manipulação. Se um agente for comprometido, a ação maliciosa pode ser concluída antes mesmo da percepção humana.
O juiz Marmelstein destaca que esses agentes têm a capacidade de "fazer", o que pode incluir a execução de códigos maliciosos para roubar credenciais ou dados. O CNJ já estuda essas vulnerabilidades e aprovou o Programa de Segurança Adversarial para Sistemas de Inteligência Artificial do Poder Judiciário (PROSEG-IA) para lidar com riscos de manipulação.
Regulamentação e limites do uso de IA
O Conselho Nacional de Justiça (CNJ) publicou em março de 2025 uma resolução que estabelece limites para o uso de IA no Judiciário. A norma permite que juízes utilizem a tecnologia para resumir documentos, organizar provas, pesquisar decisões e preparar rascunhos de sentenças. No entanto, etapas centrais do julgamento, como a avaliação de provas e a decisão sobre o mérito da causa, permanecem como responsabilidade exclusiva do magistrado, em conformidade com a chamada "reserva de humanidade".
A regulamentação também proíbe sistemas que impeçam a revisão humana e aplicações de reconhecimento de emoções. O uso de plataformas comerciais como ChatGPT e Claude é permitido sob condições específicas, mas gera divergências entre especialistas, que temem conflitos de interesse e dificuldades de fiscalização.
Desafios de fiscalização e responsabilidade
A fiscalização do uso de IA no Judiciário é um desafio. O ministro Luis Felipe Salomão, presidente do Superior Tribunal de Justiça (STJ), reconheceu a dificuldade de controlar o uso de ferramentas de IA em dispositivos pessoais. O STJ identificou 116 casos suspeitos de comandos ocultos em documentos processuais, confirmando 40 deles.
O uso indevido de IA pode resultar em penalidades. O STJ já aplicou multas por litigância de má-fé e ato atentatório à dignidade da Justiça em casos de prompt injection. Advogados e partes podem responder por crimes como fraude processual. A responsabilidade final pela decisão judicial, contudo, recai sempre sobre o magistrado, que deve conferir as informações produzidas pela IA.
O STJ, em conjunto com o CNJ, busca identificar "ondas de litigiosidade" para permitir uma atuação preventiva antes que demandas se multipliquem, visando a uma gestão mais eficaz do fluxo de processos.
