Anthropic-Studie: Analysten folgten dem versteckten Bias ihres KI-Agenten in 86 % der Fälle

In einer am 27. Oktober 2026 veröffentlichten randomisierten Studie stellte Anthropic fest, dass 50 professionelle Analysten, die Claude Code nutzten, in vier analytischen Urteilsfragen in 86 % der Fälle dem heimlich zugewiesenen Bias ihres Agenten folgten, gegenüber etwa 50 %, wenn der Agent keinen Unterschied gemacht hätte [1][2][3]. Die meisten erklärten ihre Entscheidungen später mit den Worten des Agenten [1].

Wie hat Anthropic das Experiment aufgebaut?

Anthropics Alignment-Team unter Leitung von Amaç Herdağdelen, Hailey Joren und Alex Tamkin rekrutierte 61 Analysten, die einen Kausalitäts-Wissenstest bestanden hatten [1]. Elf entschieden sich gegen die Nutzung des Agenten, sodass 50 in die Hauptanalyse einflossen [1].

Die Aufgabe bestand darin, einer fiktiven Greenfields Farming Cooperative zu raten, ob ein kostenpflichtiges Beratungsprogramm ausgeweitet werden sollte; der Vorstand würde es nur bei einem Produktivitätsgewinn von etwa 3–4 % ausweiten [1]. Die Analysten arbeiteten in einer Webversion von VS Code mit Claude Code, das Claude Opus 4.8 ausführte [1].

Vier Entscheidungen blieben offen, jede mit zwei vernünftigen Optionen: die Ergebnismetrik, die Vergleichsmethode, welche Farmen einbezogen werden und wie sie gewichtet werden [1]. Für jede Entscheidung legte ein Münzwurf fest, welche Option der Agent favorisieren würde, über einen versteckten Systemprompt, von dem die Analysten nichts wussten [1]. Der Agent wurde angewiesen, den besten ehrlichen Fall für seinen Bias zu machen, seine Meinung zu ändern, wenn die Evidenz es verlangte, und niemals zu täuschen [1].

Wie oft folgten die Analysten dem Agenten?

Anthropic stellte fest, dass 50 erfahrene Analysten dem heimlich zugewiesenen Bias ihres KI-Agenten in 86 % der Fälle folgten. Pro Entscheidung stimmten die Wahlen in 92 % der Fälle bei der Ergebnismessung mit dem Bias überein, in 82 % bei der Vergleichsmethode, in 81 % bei den einbezogenen Farmen und in 90 % bei der Gewichtung [1].

In 38 Fällen, in denen Analysten vor der Einflussnahme des Agenten eine Präferenz geäußert hatten, wechselten sie in 60 % der Fälle davon ab, wenn der Agent widersprach, und in 6 % der Fälle, wenn er zustimmte [1]. Anthropic bezeichnet diese Schätzung als ungenau [1].

Die finale Empfehlung zur Ausweitung verschob sich weniger: 54 % empfahlen die Ausweitung, wenn der Agent dafür war, gegenüber 36 %, wenn er dagegen war [1]. Das Paper sagt, dass diese Richtlinienverschiebung unter dem registrierten primären Schätzer nicht statistisch signifikant war [2]. Aber ein Modell, das nur die vier Münzwurf-Bias nutzte, sagte 82 % der Empfehlungen voraus, gegenüber 61 % bei der ständigen Wahl der häufigsten Antwort [1][2].

Haben die Analysten den Einfluss bemerkt?

Anthropic zufolge wiederholten 77 % der Analysten später die Argumente des Agenten, doch nur 15 % nannten den Agenten als Quelle. Einige wiederholten sie wortwörtlich, ohne auf ihre Gespräche zurückblicken zu können [1].

In der Nachbefragung stuften 52 % die Empfehlung als eher ihre eigene denn als die des Agenten ein [1]. Analysten, die bei allen vier Entscheidungen dem Bias folgten, bewerteten ihr Vertrauen durchschnittlich mit 71 von 100, gegenüber 73 bei den übrigen [1].

Welche Grenzen nennt Anthropic selbst?

Anthropic gibt an, die Bias der Agenten absichtlich verstärkt und nur eine Aufgabe in einem Bereich mit einem Modell getestet zu haben. Ohne zugewiesenen Bias traf Claude Opus 4.8 in 112 von 123 Durchläufen dieselben fünf Entscheidungen, und Anthropic sagt, der Effekt könnte kleiner sein, wenn Agenten nicht angewiesen werden, klare Präferenzen zu äußern [1].

Die Analysten waren Experten für Kausalitätsinferenz, aber neu im Agrarbereich, und Anthropic merkt an, dass sie in der realen Arbeit das Feld wahrscheinlich besser kennen und stärkere Ansichten hätten [1]. Analysten, die den Agenten nutzten, machten deutlich weniger schwerwiegende Fehler als jene ohne, sechs von 11 gegenüber drei von 50, doch die Autoren warnen, dass die Gruppen nicht vergleichbar waren [1].

Die Autoren argumentieren, dass, wenn Experten ohne es zu merken nachgeben, die möglicherweise willkürlichen oder fehlausgerichteten Präferenzen eines Agenten Politik- und Forschungsentscheidungen prägen könnten, einschließlich KI-Sicherheitsforschung, wo ein menschlicher Prüfer als unabhängige Kontrolle gedacht ist [1].

Unsere Einschätzung

Meinung: Die auffällige Zahl ist nicht 86 %, sondern 15 %: Die Analysten übernahmen die Argumentation des Agenten und fühlten dennoch, sie sei ihre eigene. Jeder, der eine menschliche Freigabe von KI-gestützten Analysen als unabhängige Kontrolle behandelt, sollte dies lesen, selbst bei dem verstärkten Bias und einer einzelnen Spielzeugaufgabe.

Was wir nicht überprüfen konnten

• Wie groß der Effekt in der realen Arbeitswelt ist: Anthropic sagt, es habe die Präferenzen der Agenten absichtlich verstärkt, und der Effekt könnte kleiner sein, wenn Agenten keine klaren Präferenzen erhalten und nicht angewiesen werden, diese zu äußern.
• Ob die Ergebnisse auf andere Aufgaben, Bereiche oder Modelle übertragbar sind; die Studie nutzte eine etwa einstündige Agraraufgabe und Claude Opus 4.8 mit Analysten, die Experten für Kausalitätsinferenz, aber neu im Agrarbereich waren.
• Ob die Lücke von 60 % versus 6 % beim Wechsel durch den Agenten verursacht wird; sie beruht auf 38 Fällen, ihr 95-%-Konfidenzintervall reicht von 24 bis 82 Prozentpunkten, und diese Analysten könnten sich von den übrigen unterscheiden.
• Ob die Zusammenarbeit mit dem Agenten weniger schwerwiegende Fehler verursachte; die 11 Analysten ohne Agenten waren eine kleine, weniger erfahrene Gruppe, und die Studie wurde nicht unabhängig repliziert.