IA agora opera computadores diretamente pela tela, como humanos

A inteligência artificial (IA) deu um passo significativo em sua capacidade de interagir com o mundo digital. Uma nova funcionalidade, conhecida como computer use, permite que sistemas de IA operem computadores diretamente pela interface gráfica, simulando as ações de um usuário humano com mouse e teclado. Essa capacidade ganhou destaque em outubro de 2024 com o lançamento do Claude 3.5 Sonnet da Anthropic, e foi seguida por outras grandes empresas de tecnologia como OpenAI e Google.

O principal objetivo do computer use é permitir que a IA execute tarefas repetitivas em sites e programas que não possuem uma interface de programação de aplicativos (API) — o mecanismo que permite a comunicação direta entre softwares. Isso abre portas para a automação de sistemas antigos, portais públicos e sites sem integração, onde a IA pode preencher formulários, consultar cadastros ou transferir dados.

Como a IA interage com a tela e os comandos

O funcionamento do computer use baseia-se em um ciclo contínuo de observação e ação. A IA recebe uma captura de tela, analisa o que vê utilizando visão computacional e modelos multimodais (treinados com texto e imagem), decide a próxima ação — como clicar em um ponto específico, rolar a página ou digitar um texto — e emite um comando. Essa instrução é executada por um ambiente simulado, como um navegador ou máquina virtual, que gera os comandos físicos de mouse e teclado.

A precisão é crucial: um desvio de poucos pixels pode levar a um clique no local errado. Por isso, a IA realiza verificações frequentes após pequenos grupos de ações para corrigir o curso, caso algo saia do esperado. As ações possíveis incluem clicar, arrastar, rolar, digitar e esperar, e a IA pode até gerar pequenos códigos para executar sequências de comandos previsíveis.

Diferenças e aplicações do computer use

Ao contrário do tool calling, onde a IA aciona funções pré-programadas via API, o computer use opera pela mesma interface que um ser humano. Isso o torna mais flexível para sistemas sem integração, mas geralmente mais lento e suscetível a erros do que uma comunicação direta via API. Comparado à automação tradicional (macros), que segue roteiros fixos e falha com mudanças de layout, o computer use é mais adaptável por interpretar a tela a cada passo.

As aplicações práticas incluem navegação em sites para pesquisa de preços, preenchimento de formulários, testes de aplicativos simulando usuários, transferência de dados entre programas e operação de softwares de escritório. No entanto, o recurso ainda apresenta limitações significativas em tarefas longas e em interfaces complexas.

Vantagens, limitações e riscos de segurança

As vantagens do computer use incluem a capacidade de operar em sistemas sem API, a flexibilidade diante de mudanças de layout e a possibilidade de receber comandos em linguagem natural. Contudo, é mais lento que integrações diretas, pode errar cliques por imprecisão de pixels e tem dificuldade em manter o foco em tarefas com muitas etapas.

Um estudo da conferência MLSys 2026 indicou que agentes com computer use levaram de 2,7 a 4,3 vezes mais passos do que o ideal para completar tarefas. Em testes padronizados como o OSWorld, a IA demonstrou avanços, superando o desempenho humano em versões revisadas do teste. Contudo, em fluxos de trabalho profissionais mais longos (OSWorld 2.0), o desempenho ainda é limitado, com o melhor agente concluindo apenas 20,6% das tarefas.

O computer use também introduz riscos de segurança, como a injeção de prompt, onde páginas maliciosas podem esconder comandos para desviar a IA. Se a IA estiver logada em contas, isso pode levar ao envio de dados pessoais, compras não autorizadas ou exclusão de arquivos. Para mitigar esses riscos, a OpenAI recomenda isolar o ambiente de execução, ignorar ordens vindas da tela, exigir confirmação humana para ações críticas e limitar os recursos (tempo, custo) dos agentes.

A evolução do computer use levanta a questão fundamental não apenas sobre a capacidade técnica da IA de acertar um botão, mas sobre quais ações permitiremos que ela execute de forma autônoma, especialmente quando não estamos observando.