Tokens: a unidade que define limites e custos em IAs

A inteligência artificial (IA) processa textos dividindo-os em unidades menores chamadas tokens. Essa métrica técnica, nascida décadas antes dos chatbots, tornou-se fundamental para definir limites de uso e custos na indústria de IA. O Google, por exemplo, revelou processar 3,2 quatrilhões de tokens por mês, um aumento expressivo em relação a anos anteriores.

Tokens são as menores unidades de texto que um modelo de linguagem processa, podendo ser uma palavra inteira, parte dela, um caractere ou sinal de pontuação. Antes do processamento, um programa chamado tokenizador divide o texto e converte cada token em um número. A quantidade de tokens em um texto varia conforme o modelo e o tokenizador utilizado; em inglês, estima-se que 100 tokens equivalham a cerca de 75 palavras.

Como os modelos de IA trabalham com tokens

Os modelos de IA geram respostas prevendo qual token deve vir em seguida, com base na pergunta, no histórico da conversa e no trecho já produzido. Esse processo é chamado de inferência, e é nessa etapa que o limite de tokens afeta a interação.

Durante o treinamento, os modelos aprendem padrões da linguagem ao ler bilhões de tokens. Na inferência, o modelo só consegue considerar uma quantidade máxima de tokens por pedido, que inclui a pergunta, o histórico e a resposta. Esse limite é conhecido como janela de contexto.

Por que existe um limite de tokens nas IAs?

O processamento de textos demanda memória e poder computacional. Quanto mais tokens um modelo precisa considerar, mais recursos consome. Cada modelo possui uma janela de contexto, que é o número máximo de tokens que ele consegue processar em um único pedido. Tudo, desde a pergunta até a resposta, precisa caber nesse espaço.

A arquitetura 'transformer', criada por pesquisadores do Google, utiliza um mecanismo de atenção onde cada token é comparado com todos os outros da janela. Dobrar a quantidade de tokens pode quadruplicar o custo computacional, uma relação conhecida como complexidade quadrática.

O que acontece quando a janela de contexto é excedida?

Quando um pedido excede a janela de contexto, o sistema pode recusar o pedido com um erro ou descartar as partes mais antigas da conversa. Para contornar isso, a OpenAI sugere encurtar o prompt, remover contexto desnecessário, dividir entradas grandes ou resumir textos antes do envio.

Tanto os tokens de entrada (pergunta, histórico, anexos) quanto os de saída (resposta, raciocínio interno) consomem espaço na janela de contexto. Para desenvolvedores que usam APIs pagas, há preços diferentes para entrada e saída. O português, por exemplo, pode demandar cerca de 50% mais tokens que o inglês para expressar a mesma ideia, segundo um estudo da Universidade de Oxford.

Janelas de contexto maiores, como as de 1 milhão de tokens ou mais em modelos Gemini do Google, ampliam o que cabe em uma conversa. No entanto, usos mais avançados, como modelos de raciocínio ou agentes de IA que executam tarefas em várias etapas, consomem tokens em uma escala muito maior, elevando o custo e mantendo o limite como um fator relevante.