NVIDIA: Executivos não entendem o "token", custo da IA

A NVIDIA, através de seu CEO Jensen Huang, apresentou no GTC 2026 uma nova visão para os data centers: fábricas de inteligência artificial (IA) que produzem um único produto, o token. No entanto, uma pesquisa informal após o evento revelou que muitos executivos presentes não sabiam definir o que é um token ou um parâmetro, conceitos fundamentais para a nova economia da IA. Essa lacuna de conhecimento, aliada a uma confiança elevada sobre a tecnologia, pode gerar custos significativos e decisões estratégicas equivocadas.

A falta de familiaridade com os fundamentos da IA pode levar tomadores de decisão a oscilar entre o entusiasmo excessivo, que aprova qualquer projeto piloto, e o ceticismo, que impede a inovação. O Boston Consulting Group (BCG) divulgou em maio de 2026 um levantamento com 351 CEOs e 274 conselheiros, onde 75% dos conselheiros se consideravam bem informados sobre IA, enquanto 63% dos CEOs acreditavam que os conselhos superestimavam a capacidade da tecnologia.

Token: a unidade de custo da IA

Um token é definido como um pedaço de texto, que pode ser uma palavra inteira ou parte dela, utilizado pelos modelos generativos para processar informações de entrada e gerar respostas. Os custos dos principais serviços de IA são calculados com base no número de tokens de entrada e saída. Essa métrica é crucial para a análise de viabilidade de projetos, pois o consumo de tokens pode multiplicar exponencialmente com o aumento de usuários ou da complexidade das tarefas.

Agentes de IA, por exemplo, consomem significativamente mais tokens do que um chat simples, pois realizam raciocínio em várias etapas, consultam sistemas e revisam suas próprias respostas. Um detalhe importante, especialmente para o Brasil, é que modelos treinados predominantemente em inglês tendem a dividir conteúdos em outros idiomas em mais tokens. Um estudo da Universidade de Oxford apresentado na NeurIPS 2023 indicou diferenças de até 15 vezes em casos extremos entre idiomas. Para o português, um preprint sobre modelos para a língua mostrou a necessidade de mais de 50% de tokens adicionais para o mesmo texto em um modelo popular.

Embora o custo por token tenda a diminuir com o avanço tecnológico, a complexidade dos modelos e a demanda por soluções mais sofisticadas mantêm a corrida de custos. A pergunta essencial para executivos é: "Quantos tokens este caso de uso consumirá por mês em produção, e como esse custo aumenta com a adoção?"

Parâmetro: o tamanho do modelo e sua relevância

Os parâmetros, que medem o tamanho do modelo de IA, representam os valores numéricos ajustados durante o treinamento e funcionam como o "conhecimento" armazenado. Modelos com bilhões de parâmetros capturam padrões mais sutis, mas exigem mais recursos computacionais. A tendência de escolher modelos pelo tamanho, sem considerar a necessidade real, pode ser custosa.

Para muitas tarefas corporativas, como classificação de chamados ou extração de dados, modelos menores são suficientes, sendo mais baratos, rápidos e permitindo a execução local. No Brasil, rodar modelos localmente pode facilitar a conformidade com a Lei Geral de Proteção de Dados (LGPD), reduzir a dependência de serviços estrangeiros e manter dados sensíveis sob controle. A pergunta estratégica a ser feita é: "Qual o menor modelo que resolve este problema com a qualidade necessária?"

Alucinação da IA e a necessidade de verificação

Modelos de linguagem não consultam bases de fatos, mas preveem a continuação mais provável de um texto, token a token. Quando a informação não está disponível, o modelo pode gerar respostas plausíveis, mas incorretas, fenômeno conhecido como "alucinação da IA". O contexto fornecido ao modelo, como documentos da empresa ou dados do cliente, pode reduzir esses erros, mas o contexto também consome tokens e gera custos.

Entender a natureza da IA é crucial para o desenho de processos. Embora a IA seja excelente para preparar, resumir e acelerar tarefas, decisões com impacto financeiro, jurídico ou humano exigem verificação humana ou mecanismos de checagem. A pergunta a ser considerada é: "O que acontece quando a IA erra com confiança?"

A importância de fazer as perguntas certas

Executivos não precisam ser engenheiros de IA, mas devem ter um letramento mínimo para entender como a tecnologia funciona, assim como um diretor financeiro entende um balanço. Pesquisas indicam que a maioria dos CEOs e conselheiros acredita que futuros membros de conselho deveriam demonstrar entendimento de IA. As perguntas essenciais incluem:

• Quanto este caso de uso custará em produção?
• Por que este modelo específico, e não um menor?
• Onde os dados ficam e quem tem acesso a eles?
• Como medimos a qualidade das respostas e o que ocorre quando a IA erra?

Saber o que é um token, um parâmetro e como a IA funciona é o mínimo para que as decisões estratégicas não sejam tomadas no escuro, evitando a construção de "fábricas" sem o conhecimento de seus produtos, custos e taxas de defeito.