Estudo da Anthropic: analistas seguiram a inclinação oculta do agente de IA 86% das vezes

Em um teste randomizado publicado em 27 de outubro de 2026, a Anthropic descobriu que 50 analistas profissionais que usaram o Claude Code seguiram a inclinação secreta atribuída ao agente em quatro julgamentos analíticos 86% das vezes, contra cerca de 50% se o agente não fizesse diferença [1][2][3]. A maioria depois explicou suas escolhas com as palavras do agente [1].

Como a Anthropic montou o experimento?

A equipe de Alinhamento da Anthropic, liderada por Amaç Herdağdelen, Hailey Joren e Alex Tamkin, recrutou 61 analistas que passaram por uma verificação de conhecimento em inferência causal [1]. Onze optaram por não usar o agente, deixando 50 na análise principal [1].

A tarefa era aconselhar uma Cooperativa Agrícola Greenfields fictícia sobre se um programa de consultoria paga deveria ser expandido; o conselho só o expandiria com um ganho de produtividade de cerca de 3–4% [1]. Os analistas trabalharam em uma versão web do VS Code com o Claude Code rodando o Claude Opus 4.8 [1].

Quatro escolhas ficaram em aberto, cada uma com duas opções razoáveis: a métrica de resultado, o método de comparação, quais fazendas cobrir e como ponderá-las [1]. Para cada decisão, um cara ou coroa definiu qual opção o agente favoreceria, por meio de um prompt de sistema oculto sobre o qual os analistas não foram informados [1]. O agente foi instruído a fazer o melhor caso honesto a favor de sua inclinação, a mudar de ideia se as evidências exigissem e a nunca enganar [1].

Com que frequência os analistas seguiram o agente?

A Anthropic descobriu que 50 analistas especializados seguiram a inclinação secreta atribuída ao agente de IA 86% das vezes. Por decisão, as escolhas coincidiram com a inclinação 92% das vezes para a medida de resultado, 82% para o método de comparação, 81% para quais fazendas foram cobertas e 90% para a ponderação [1].

Em 38 casos em que os analistas haviam declarado uma preferência antes de o agente opinar, eles mudaram de ideia 60% das vezes quando o agente discordou e 6% quando concordou [1]. A Anthropic considera essa estimativa imprecisa [1].

A recomendação final de implementação mudou menos: 54% recomendaram a implementação quando o agente inclinou nesse sentido, versus 36% quando inclinou no outro [1]. O artigo diz que essa mudança de política não foi estatisticamente significativa sob seu estimador primário registrado [2]. Mas um modelo usando apenas as quatro inclinações do cara ou coroa previu 82% das recomendações, contra 61% ao sempre adivinhar a resposta mais comum [1][2].

Os analistas perceberam a influência?

A Anthropic afirma que 77% dos analistas repetiram depois os argumentos do agente, mas apenas 15% creditaram o agente. Alguns os repetiram palavra por palavra, sem poder consultar as conversas [1].

Na pesquisa pós-tarefa, 52% avaliaram a recomendação como mais deles do que do agente [1]. Os analistas que seguiram a inclinação nas quatro decisões avaliaram sua confiança em 71 de 100 em média, contra 73 para os demais [1].

Quais limites a própria Anthropic aponta?

A Anthropic diz que reforçou deliberadamente a inclinação dos agentes e testou uma única tarefa, em um único campo, com um único modelo. Sem inclinação atribuída, o Claude Opus 4.8 fez as mesmas cinco escolhas em 112 de 123 execuções, e a Anthropic afirma que o efeito pode ser menor quando os agentes não são instruídos a expressar preferências claras [1].

Os analistas eram especialistas em inferência causal, mas novatos em agricultura, e a Anthropic observa que no trabalho real eles provavelmente conheceriam melhor o campo e teriam opiniões mais firmes [1]. Os analistas que usaram o agente cometeram muito menos erros graves do que os que não usaram, seis de 11 versus três de 50, mas os autores alertam que os grupos não eram comparáveis [1].

Os autores argumentam que, se os especialistas deferirem sem perceber, as preferências possivelmente arbitrárias ou desalinhadas de um agente podem moldar decisões de política e pesquisa, incluindo pesquisas de segurança de IA onde um revisor humano deveria ser uma verificação independente [1].

Nossa leitura

Opinião: O número impressionante não é 86%, mas 15%: os analistas adotaram o raciocínio do agente e ainda sentiram que era deles. Quem trata uma aprovação humana de análise assistida por IA como uma verificação independente deve ler isso, mesmo com a inclinação reforçada e uma única tarefa fictícia.

O que não pudemos verificar

• Qual o tamanho do efeito no trabalho real: a Anthropic diz que reforçou as preferências dos agentes de propósito e que o efeito pode ser menor quando os agentes não recebem preferências claras e instruções para expressá-las.
• Se os resultados se aplicam a outras tarefas, campos ou modelos; o estudo usou uma única tarefa agrícola de cerca de uma hora e o Claude Opus 4.8, com analistas especialistas em inferência causal, mas novatos em agricultura.
• Se a diferença de troca de 60% versus 6% é causada pelo agente; ela se baseia em 38 casos, seu intervalo de confiança de 95% vai de 24 a 82 pontos percentuais, e esses analistas podem diferir dos demais.
• Se trabalhar com o agente causou menos erros graves; os 11 analistas que trabalharam sem ele formavam um grupo pequeno e menos experiente, e o estudo não foi replicado independentemente.