OpenAI detalha desafios para garantir qualidade e segurança de agentes de IA

A capacidade de executar tarefas de forma autônoma não é suficiente para garantir a eficiência dos agentes de inteligência artificial. À medida que essas soluções integram processos de negócio e interagem com consumidores, as empresas enfrentam o desafio de avaliar a qualidade das respostas, estabelecer limites de atuação e assegurar que os sistemas interpretem corretamente as necessidades dos usuários, mesmo diante de comportamentos inesperados. André Lopes, engenheiro de soluções de IA da OpenAI no Brasil, destacou esses pontos durante o Meetup Itaú Tech, enfatizando a importância da memória, integração e avaliação contínua para a segurança e confiabilidade.

Agentes de IA: mais que respostas, ações contextuais

A qualidade de um agente de IA não se resume à precisão de suas respostas, mas à sua capacidade de compreender o contexto, identificar a intenção do usuário e executar ações de maneira adequada. Um agente é composto por um modelo de linguagem, mecanismos de memória, ferramentas de acesso a sistemas, canais de interação e capacidades de planejamento. Essa combinação permite que a tecnologia avance de respostas informativas para a execução de tarefas, utilizando recursos como APIs e integrações com aplicações corporativas.

A memória é fundamental para recuperar informações de interações anteriores e manter a continuidade do atendimento, mesmo em diferentes canais. Por exemplo, a solicitação de alteração temporária de endereço para entrega de um cartão bancário exige que o agente identifique o usuário, compreenda condições, consulte sistemas e preserve informações sensíveis, garantindo que o endereço permanente não seja modificado e evitando ações duplicadas ou não autorizadas.

Avaliações `evals`: além dos testes tradicionais

Para verificar o desempenho dos agentes de IA, são necessários processos específicos de avaliação, conhecidos como evals. Essas avaliações consideram desde o registro e recuperação de informações até a execução de ações por ferramentas externas. É preciso verificar se o sistema identifica corretamente quais informações armazenar, por quanto tempo e quando recuperá-las.

Nos testes de integração, a preocupação é com a comunicação entre o agente e os sistemas corporativos, incluindo permissões, respostas inesperadas e falhas operacionais. Um erro de comunicação pode levar a ações duplicadas se a solicitação for repetida automaticamente. Os testes devem contemplar situações excepcionais e verificar o estado final das operações. A continuidade da experiência entre canais também é crucial, com o agente reconhecendo o histórico do cliente para retomar o atendimento sem repetição de informações.

Comportamento real do usuário desafia modelos de avaliação

Embora testes automatizados ampliem a escala das avaliações, o comportamento humano nem sempre corresponde aos cenários previstos. Um agente desenvolvido para informar sobre crédito gerou alertas de fraude ao interpretar informalidades e cobranças de clientes como comportamentos suspeitos, quando na verdade eram dúvidas legítimas. Isso demonstra que aplicações com bom desempenho em ambientes controlados podem enfrentar dificuldades com a diversidade de comportamentos reais.

Para reduzir esse problema, a OpenAI defende o uso de históricos reais de atendimento, como transcrições de call centers e conversas digitais, na construção de cenários de teste. Esses dados aproximam as avaliações das situações de produção, permitindo identificar problemas que simulações isoladas não antecipariam. Testes online e offline devem atuar de forma complementar, com os testes offline comparando versões antes da implementação e os testes online acompanhando interações em produção para monitorar riscos e gerar alertas em tempo real.

Equilíbrio entre autonomia e segurança é chave para cada aplicação

Definir os limites de atuação dos agentes é um desafio. Aplicações excessivamente restritivas podem ter dificuldade em resolver solicitações, enquanto sistemas com alta autonomia e poucos controles podem gerar respostas inadequadas. O equilíbrio entre criatividade, execução e segurança varia conforme o objetivo e os riscos da aplicação. Em atendimento, maior flexibilidade na linguagem pode ser desejável, enquanto em operações financeiras, regras mais rígidas são necessárias.

O desenvolvimento deve começar com objetivos de negócio claros e escopos delimitados, ampliando gradualmente as capacidades conforme os resultados das avaliações. Essa abordagem permite identificar limitações antes de expandir o uso da tecnologia e estabelecer mecanismos de governança compatíveis. A participação humana permanece essencial, especialmente na interpretação de comportamentos e na avaliação da qualidade das experiências, transformando a avaliação em uma atividade permanente para orientar ajustes e ampliar a confiabilidade dos agentes.