Bancos Globais Lutam para Controlar Custos Crescentes de Inteligência Artificial

A rápida adoção da inteligência artificial (IA) por bancos globais tem gerado contas inesperadas e uma necessidade urgente de controlar os custos. Inicialmente, muitas instituições financeiras deram um cheque em branco às suas equipes de tecnologia para implementar IA, mas agora, com orçamentos de TI já sob pressão, a gestão desses gastos se tornou uma prioridade. A IA agêntica, que promete ganhos de produtividade ao lidar com tarefas complexas de forma autônoma, é particularmente difícil de orçar devido ao consumo imprevisível de poder computacional.

Executivos e consultores apontam que a falta de controle sobre os custos de IA é um problema generalizado. Bhavi Mehta, da Bain & Co., destaca que a imprevisibilidade do custo por tarefa torna a compreensão do valor do negócio crucial à medida que os bancos escalam a IA. Relatórios indicam que apenas uma pequena fração dos maiores bancos globais atribui publicamente retornos projetados ou realizados à sua adoção de IA, apesar de muitos CEOs falarem sobre os benefícios potenciais.

O Desafio do Orçamento e do Uso de IA

O aumento do investimento em tecnologia de IA foi mencionado em teleconferências de resultados de grandes bancos nos EUA, como Citigroup e Goldman Sachs, mas poucos executivos apresentaram números precisos sobre gastos ou benefícios financeiros. A transição da fase de experimentação para a de implantação tem exposto a realidade dos custos operacionais. O custo de inferência, que antes era um erro de arredondamento, agora se torna uma linha de custo operacional significativa, especialmente quando processos são executados milhões de vezes por ano.

O uso excessivo de tokens, conhecido como "tokenmaxxing", nem sempre é a única causa da explosão nos custos. No Deutsche Bank AG, o monitoramento revelou que funcionários que consumiam grandes volumes de tokens estavam, na verdade, realizando trabalho útil. O banco, em vez de restringir, direcionou o uso para fins mais produtivos e testou tarefas em modelos menores e mais baratos, reduzindo custos em várias vezes. O Banco Santander SA, por exemplo, usa modelos de ponta apenas para verificação de qualidade e depois transfere cargas de trabalho para modelos mais leves, diminuindo o custo de aprovação de empréstimos de €5 para €0,03 por processo.

Estratégias para Mitigar Custos de IA

O Canadian Imperial Bank of Commerce (CIBC) descobriu que seus modelos mais poderosos poderiam custar C$3.000 por funcionário por mês, levando à restrição de acesso a alguns milhares de funcionários e a um limite de gastos para seu novo espaço de trabalho integrado. A IA agêntica, em particular, é um grande impulsionador de custos, com um aumento significativo nos casos de uso anunciados. Para lidar com isso, alguns bancos asiáticos agruparam tokens e construíram agentes que reduzem os prompts antes de chegar aos modelos. Outros exploram modelos chineses, como o da Z.AI, que apresentaram desempenho equivalente a modelos mais caros por uma fração do custo.

Reguladores também sinalizaram preocupações. O órgão regulador bancário do Canadá pediu padrões mínimos para o uso de IA, e a vice-presidente do Federal Reserve dos EUA alertou sobre a necessidade de reforçar sistemas contra ameaças impulsionadas por IA. Isso torna modelos menos testados, especialmente os estrangeiros, mais difíceis de justificar. Diretores de risco também temem o comportamento imprevisível de agentes de IA implantados nos sistemas do banco.

A indústria está vendo o surgimento de soluções para gerenciar esses custos. Empresas como Ramp ajudam a rastrear e controlar gastos com tokens, permitindo a migração de modelos caros para mais baratos. A Rogo Technologies Inc. agrupa a demanda para negociar descontos e permite que bancos definam orçamentos de tokens por usuário. A Tokenomics Foundation busca estabelecer padrões para rastrear custos de IA, que muitas vezes são opacos.

A pressão por controle de custos de IA está impactando até mesmo o processo de contratação, com candidatos a desenvolvedores perguntando sobre orçamentos de tokens. A falta de um diretor de IA com autoridade real para impor disciplina na previsão e implantação, sem desacelerar a inovação, é um desafio. A mentalidade de "corrida armamentista" em toda a indústria, onde os bancos temem ficar para trás, está levando a gastos excessivos, resultando em contas altas e frustração para os diretores financeiros.