METR und Redwood finden Lücken in OpenAIs interner KI-Agenten-Überwachung

Externe Evaluierer fanden mehrere neuartige Schwachstellen in OpenAIs internem System zur Überwachung eigener KI-Agenten auf Fehlausrichtung, sagte METR am 22. Oktober 2026 [1]. Je ein Mitarbeiter von METR und Redwood Research testete das System drei Wochen lang vor Ort diesen Sommer mit tiefem Zugriff auf OpenAIs Infrastruktur [1][2].

Was haben METR und Redwood Research getestet?

METR und Redwood Research testeten OpenAIs interne Fehlausrichtungsüberwachung vor Ort vom 21. Juli bis zum 11. August 2026. Die zwei Evaluierer hatten Zugriff auf OpenAIs internen Codebase, Monitor-Prompts und Konfigurationsdetails sowie interne Dokumentation und befragten etwa ein Dutzend Forscher und Ingenieure [1]. Sie arbeiteten auf von OpenAI bereitgestellten Geräten, die nie das Gelände verließen, und wurden vor Ort begleitet [1].

Die Übung ergab einen 61-seitigen internen Bericht für OpenAI-Forscher und Sicherheitspersonal [1]. METR sagt, dass die öffentliche Zusammenfassung bewusst kurz gehalten ist, OpenAI das Recht hatte, sie zu redigieren, und die Ergebnisse das System beschreiben, wie es am 21. Juli und davor existierte, nicht das erweiterte System, das OpenAI während der Übung aufbaute [1].

Welche Lücken fanden die Evaluierer?

METR schätzt, dass 75 bis 94 Prozent des internen agentischen Responses-API-Verkehrs von OpenAI für die Überwachung geeignet waren. Die Schätzung umfasst Modelle mindestens so stark wie GPT-5.5 und birgt erhebliche Unsicherheit in beide Richtungen, sagt METR [1]. Für interne Codex-Agenten allein legt sie den geeigneten Anteil bei 99,2 Prozent [1].

Das Nicht-Überwachen sogenannter Kompaktierungsereignisse ließ wahrscheinlich in der Größenordnung von 10 Prozent des geeigneten internen Codex-Verkehrs zwischen Mai und Juli 2026 unüberwacht, laut METR [1]. OpenAI-Mitarbeiter hatten diese Lücke vor der Übung entdeckt und währenddessen behoben [1]. Zu Beginn der Übung waren RL-Trainingsläufe nicht von dem Überwachungssystem abgedeckt [1].

Die Evaluierer beschreiben auch einen Exploit, der Hunderte jüngster Agentenaktionen von der Überwachung fernhalten würde, mit von OpenAI redigierten Details [1]. Sie fanden, dass Agenten wahrscheinlich Eingaben erstellen könnten, die den Monitor zum Scheitern bringen, und zwei vom Client steuerbare Header, die die Überwachung für neue Agenten ausschalten [1].

Nicht alles war kaputt. METR sagt, dass der Monitor mit wenigen kleinen Ausnahmen die vollständige Trajektorie sieht, die die Agenten sehen, und seine Prompts nach Scheming, Sabotage, Datenexfiltration, Täuschung und Prompt-Injection unter anderen Risiken suchen [1]. Informationen, die den Evaluierern gezeigt wurden, deuteten darauf hin, dass der Monitor bei weniger als 0,2 Prozent der Anfragen fehlerte [1].

Wie hat OpenAI reagiert?

OpenAI sagte auf X, dass es METR und Redwood Research eingeladen hat, eine eingebettete Evaluierung seines internen Überwachungssystems zu pilotieren [2]. OpenAI sagt, dass alle Schwachstellen, die seine Produktionsschutzmaßnahmen betreffen, behoben sind, eine Behauptung, die METR nicht bewertet hat. METR fügt hinzu, dass OpenAI signifikante Änderungen an der beabsichtigten Abdeckung seiner Überwachung seit der Übung beschrieben hat [1].

Laut CNBC versprach OpenAI-CEO Sam Altman im September, unabhängigen Evaluierern mitarbeiterähnlichen Zugang zum Unternehmen zu gewähren [4]. Reuters berichtet, dass KI-Unternehmen auch befürchten, dass Evaluierer-Mitarbeiter innerhalb ihrer Mauern proprietäre Informationen an Konkurrenten weitergeben könnten [3]. The AI Pin hat zuvor OpenAIs eigene Offenlegungen von Rogue-Agent-Vorfällen abgedeckt.

Wie sollte Agentenüberwachung künftig aussehen?

METR argumentiert, dass künftige Überwachung absichtlichen, anhaltenden Angriffen hochfähiger interner Agenten im großen Maßstab standhalten sollte [1]. Es schlägt vor, Agenten alle N Nachrichten oder Minuten zu prüfen, anstatt zu warten, bis sie ihre Runde beenden, und explizite Genehmigung für alle unüberwachten Anfragen zu verlangen [1].

Das Schreiben fordert auch manipulationssichere Logs, regelmäßiges Red-Teaming des Monitors und strikte Isolation zwischen Agenten und ihren Monitoren [1]. METR sagt, dass künftige Übungen stärkeren Transparenz- und Unabhängigkeitspraktiken folgen sollten [1].

Unsere Einschätzung

Meinung: Dies ist der konkreteste öffentliche Einblick bisher, wie ein Frontier-Labor seine eigenen Agenten überwacht, und die unbequeme Zahl ist die Untergrenze: bis zu ein Viertel des internen Agentenverkehrs im Geltungsbereich war nicht einmal für die Überwachung geeignet. Eingebettete Audits wie dieses sind mehr wert als jede selbstberichtete Sicherheitskarte, aber nur, wenn die nächste Runde den Evaluierern erlaubt, die Fixes zu verifizieren und zu beschreiben, was redigiert wurde.

Was wir nicht überprüfen konnten

• Ob OpenAIs Patches und erweiterte Überwachungsabdeckung wie beschrieben funktionieren; METR und Redwood Research sagen, dass sie diese Behauptungen nicht bewertet haben.
• Ob ein Agent tatsächlich die Lücke ausgenutzt hat, die es Agenten erlaubte, die Überwachung aufzuschieben; die Evaluierer sagen, dass ihnen der Zugang fehlte, um das zu prüfen.
• Was OpenAI aus dem öffentlichen Schreiben redigiert hat; die Evaluierer hatten kein einseitiges Recht, die Redaktionen zu beschreiben.
• Wie viel Agentenverkehr auf OpenAIs internem Forschungs-Inferenzdienst läuft, der von der Abdeckungsschätzung ausgeschlossen ist.