Der KI-Gutachter von Sakana fängt die meisten eingepflanzten Fehler in Arbeiten, und weit weniger echte
Bei Arbeiten, die tatsächlich zurückgezogen wurden, fiel die Erkennung auf 16 bis 26 Prozent. Der Benchmark ist eine Untergrenze, kein gelöstes Problem.
Von Die Redaktion, Nachrichten · · 1 Min. Lesezeit
Verantwortet von Dimitri Gärtner
Tags: Peer Review · Sakana AI · Forschung · Wissenschaft
- Die Nachricht
- Bei Arbeiten, die tatsächlich zurückgezogen wurden, fiel die Erkennung auf 16 bis 26 Prozent.
- Warum es zählt
- Der Benchmark ist eine Untergrenze, kein gelöstes Problem.
- Was belegt ist
- Das Foto ist für diese Geschichte generiert.
An eine genannte Quelle gebunden. Nicht als geprüft markiert. arXiv listing (cs.CL)
Die Nachricht
Forscher von Sakana AI stellten Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review auf arXiv. Die Arbeit führt einen Contradiction Benchmark mit 1.164 Varianten von Arbeiten ein, gebaut, indem logische Widersprüche in 257 echte Arbeiten von Konferenzen eingefügt wurden, und ein System Multi-Layered Review mit drei Agenten, das Anhänge und verwandte Arbeiten liest, bevor es ein Gutachten schreibt.
Warum es zählt
Die Wissenschaft ertrinkt in Einreichungen, einschließlich Fluten von Arbeiten, die KI erzeugt hat. Eine billige, verlässliche Prüfung auf Fehler würde ändern, wie Peer Review skaliert, aber nur, wenn sie bei echten Fehlern funktioniert.
Die Einzelheiten
Mit vier Gutachten fing das System 73,4 Prozent der Widersprüche in der Hauptbehauptung, gegenüber 14,8 Prozent bei der besten früheren Baseline, bei etwa 0,50 Dollar je Gutachten, berichten die Autoren.
Bei wirklich zurückgezogenen Arbeiten fiel die Erkennungsrate auf 16 bis 26 Prozent, je nachdem, wie streng Übereinstimmungen bewertet wurden. Die Ergebnisse stammen von den Autoren selbst und sind nicht unabhängig repliziert worden.
Was wir nicht prüfen konnten
- Selbst noch nicht begutachtet.
- Synthetische Widersprüche sind vielleicht leichter zu erkennen als echte Fehler.
Quellen
Das Foto ist für diese Geschichte generiert. Es zeigt nicht die darin genannten Personen.