TOPS: Entenda a nova métrica de desempenho para IA em dispositivos

A sigla TOPS (Trillions of Operations Per Second, ou Trilhões de Operações por Segundo) emergiu como a principal métrica de marketing para definir a capacidade de dispositivos em executar tarefas de Inteligência Artificial (IA). Promovida por gigantes como Intel, AMD, Qualcomm e Nvidia, essa medida teórica indica o desempenho bruto de um processador em aprendizado de máquina, comparável à taxa de rotações de um motor, mas aplicada a redes neurais.

Na prática, um chip com 40 TOPS é capaz de realizar até 40 trilhões de operações numéricas simples por segundo. No entanto, o cálculo dessa métrica varia conforme a precisão matemática utilizada, como INT8 (números inteiros de 8 bits), INT4 ou ponto flutuante (FP16). A maioria dos fabricantes divulga seus TOPS com base no padrão INT8, mais eficiente para inferência de IA sem perda perceptível de qualidade.

Desempenho em PCs e notebooks

Em computadores e notebooks recentes, a capacidade de TOPS é distribuída entre a NPU (Neural Processing Unit), um bloco dedicado à IA com baixo consumo de energia, a iGPU (gráfico integrado) e a CPU. A NPU de um notebook moderno pode entregar entre 40 e 50 TOPS para funções como enquadramento automático de câmera ou isolamento de ruído. A soma dessas unidades gera o "TOPS da plataforma", embora uma aplicação raramente utilize todos os núcleos simultaneamente.

Apesar do avanço das NPUs, as placas de vídeo dedicadas (GPUs) continuam liderando em desempenho bruto para IA no ecossistema doméstico. Modelos intermediários superam centenas de TOPS, e placas topo de linha ultrapassam 1.000 TOPS (1 Petaflop). Isso se deve à sua arquitetura com milhares de núcleos paralelos e barramentos de memória VRAM mais rápidos, essenciais para rodar modelos de linguagem locais (LLMs) pesados ou gerar imagens complexas.

Aceleradores para data centers e supercomputadores

Em ambientes corporativos, como data centers, os processadores e aceleradores dedicados para servidores, como as famílias NVIDIA RTX Pro ou AMD Instinct, operam em outra escala. Projetados para lidar com petabytes de dados, eles precisam entregar milhares de TOPS em precisões flutuantes complexas (FP16, BF16 e FP8) para garantir a exatidão no treinamento de novos modelos de IA. Esses sistemas exigem alta largura de banda de memória (com memórias HBM) e refrigeração avançada.

Apesar da alta capacidade teórica, o desempenho real de aplicações de IA depende de uma cadeia complexa que inclui a otimização do software para a arquitetura específica, o suporte dos drivers e, crucialmente, a largura de banda da memória RAM do sistema. Um chip com muitos TOPS pode ficar ocioso se o software não for otimizado ou se houver gargalos na transferência de dados, demonstrando que os TOPS são um teto de capacidade, não a única garantia de velocidade.