IA em bancos: sistemas são aprovados, mas humanos mantêm o controle das decisões

Um sistema de inteligência artificial (IA) desenvolvido para automatizar decisões de crédito em um banco global, aprovado no final de 2022, prometia maior velocidade, redução de erros e economia de custos. Apesar de passar pelos processos de gestão de riscos e compliance, e ser promovido pelo CEO, o sistema não chegou a tomar a maioria das decisões finais. Seis meses após a implementação, a maioria dos processos ainda passava por revisão humana, com salvaguardas temporárias se tornando permanentes.

A lacuna entre tecnologia e estrutura organizacional

A dificuldade na adoção plena de sistemas de IA não reside em projetos-piloto fracassados, mas na incapacidade das estruturas de responsabilização e legitimidade das organizações de se adaptarem. A legitimidade, neste contexto, refere-se ao entendimento compartilhado sobre quem tem o direito de tomar decisões e de torná-las confiáveis. Muitas instituições estão acumulando inteligência artificial sem se reorganizar em torno dela, um padrão que já foi observado em ondas anteriores de automação, como com sistemas ERP e de credit scoring.

A aparente conformidade com a IA, onde sistemas funcionam e são utilizados, esconde uma realidade onde as estruturas de autoridade humana impedem que as decisões automatizadas sejam plenamente aceitas. Pesquisas sobre complacência com automação alertam para a cedência excessiva às máquinas, mas o problema aqui é o oposto: os humanos não cedem o controle porque as estruturas de responsabilização tornam essa transferência profissionalmente arriscada.

O dilema da responsabilização em sistemas agênticos

Na prática, quando um sistema de IA recomenda algo e um humano discorda, o humano geralmente prevalece de forma discreta. Profissionais ajustam os limites do sistema por prudência, adicionando mais etapas de revisão e criando substituições de decisão documentadas. Coletivamente, esses ajustes, embora defensáveis individualmente, resultam em uma adoção parcial e ineficaz da tecnologia.

O problema se agrava com sistemas de IA agênticos, que não recomendam, mas agem diretamente. Eles realizam ações como reservas, aprovações e celebração de contratos dentro de parâmetros autorizados, mas não monitorados continuamente. Quando um agente age e o resultado é negativo, a responsabilização se torna complexa, levantando questões sobre a adequação dos parâmetros, a amplitude da autorização ou a imprevisibilidade da situação para os criadores.

Redefinindo autoridade para uma adoção real

A adoção real da IA se manifesta pela simplificação dos processos decisórios, diminuição de exceções e redistribuição explícita de autoridade. Essa clareza, embora possa causar desconforto pela mudança de papéis, traz estabilidade ao vincular a responsabilização à autoridade. A tecnologia e a arquitetura organizacional devem avançar juntas, com o trabalho de organização sendo desenhado antes da escalada do sistema.

Líderes devem responder a quatro perguntas cruciais sobre governança: Quem perde poder de decisão? Quem ganha autoridade? Quem explica os resultados? Quem absorve o risco da transição? Se não respondidas explicitamente, serão respondidas implicitamente pelos operadores, preservando a autoridade existente. A adoção plena ocorre quando aprovar decisões de IA não parece um sacrifício profissional, elevando o julgamento humano para supervisão e aprimoramento do sistema.

Empresas que tratam a IA como um projeto isolado, focando apenas no desempenho do modelo e na implementação, caem em um ciclo de entusiasmo, contenção e adoção parcial. Líderes mais perspicazes, contudo, reconhecem que o cerne da questão é a autoridade, redesenhando fluxos de trabalho em torno das decisões da máquina e governando transições sem transferir custos de aprendizado para funcionários individuais. A medida de sucesso não é o uso ou a fluidez da implementação, mas se as decisões cruciais da organização mudariam caso o sistema fosse desligado.