IA falha em identificar outras IAs em teste inspirado no Teste de Turing

Em um estudo inovador que inverteu os papéis tradicionais do Teste de Turing, inteligências artificiais (IAs) demonstraram grande dificuldade em identificar outras máquinas. Em 98 testes realizados, os sistemas de IA conseguiram reconhecer corretamente participantes de IA em apenas três ocasiões, uma taxa de acerto de pouco mais de 3%. A pesquisa, publicada na revista Computers in Human Behavior Reports, adaptou o famoso Teste de Turing para avaliar a capacidade de modelos de linguagem em distinguir entre pessoas e outros chatbots durante uma conversa.

O que é o Teste de Turing e como foi adaptado?

Proposto pelo matemático britânico Alan Turing em 1950, o Teste de Turing avalia se uma máquina consegue conversar de maneira indistinguível de um ser humano. Na sua versão mais conhecida, um avaliador humano tenta identificar qual interlocutor é a máquina entre duas conversas escritas. Nesta nova pesquisa, os papéis foram invertidos: foram as IAs que atuaram como interrogadoras.

Sete modelos de IA, incluindo GPT-4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro e Grok 3, foram colocados na função de avaliadores. Cada sistema podia fazer até dez perguntas para determinar se estava conversando com um humano ou com outra IA. Ao todo, foram realizadas 238 conversas, com 1.714 perguntas, envolvendo 20 voluntários humanos e os mesmos sete modelos de IA.

Resultados surpreendentes e o papel da personalidade

Os resultados foram notáveis: as IAs falharam em identificar outras IAs em 95% dos testes. Além disso, os sistemas avaliadores atribuíram aos chatbots uma probabilidade média de 88% de serem humanos, enquanto as pessoas reais receberam uma probabilidade média de 78%. Esses números refletem o julgamento dos modelos, não necessariamente sua precisão.

Um fator crucial observado foi o impacto da atribuição de personalidades às IAs. Quando os chatbots receberam instruções para agir com personalidades detalhadas, incluindo interesses pessoais, respostas naturais e até erros de digitação, nenhuma IA foi identificada como máquina. Os poucos sistemas que foram descobertos deram pistas pelo excesso de organização em suas respostas, e não pelo conteúdo em si.

Implicações e próximos passos da pesquisa

As IAs com personalidades detalhadas apresentaram respostas com uma média de 39 palavras, muito próxima da média de 38 palavras das respostas humanas. Isso sugere que a capacidade de simular nuances humanas, como a informalidade e a variação no estilo de escrita, é um fator determinante para enganar outros sistemas de IA.

Os autores da pesquisa ressaltam que os resultados são limitados aos modelos, instruções e formato de conversa avaliados. Eles propõem futuras investigações com interações mais longas, diferentes tipos de informação além do texto e avaliações que combinem a participação de humanos e máquinas para uma análise mais completa.