Made with AI
SakanaのAI査読は、仕込んだ誤りのほとんどを捉え、本物の誤りははるかに少ない
実際に撤回された論文では、検出は16%から26%へ落ちた。このベンチマークは下限であり、解けた問題ではない。
筆者 編集部, ニュース · · 1分で読める
タグ: 査読 · Sakana AI · 研究 · 科学
- このニュース
- 実際に撤回された論文では、検出は16%から26%へ落ちた。このベンチマークは下限であり、解けた問題ではない。
- なぜ重要か
- 3つのエージェントによる査読システムは、実際の学会論文に仕込んだ矛盾の73%を捉えた。それまでの最良は15%で、査読1件あたり約50セントだった。
- 確認できたこと
- 写真はこの記事のために生成したものです。本文で名の挙がる人物は写っていません。
名前のある出典に紐づく。検証済みとは記していない。 arXiv listing (cs.CL)
ニュース
Sakana AI の研究者らは、「模倣を超えて：LLMが支援する査読のための枠組みとベンチマーク」（Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review）を arXiv に投稿した。論文は、257 本の実際の学会論文へ論理的な矛盾を挿入して作った、変種 1,164 件の矛盾ベンチマーク（Contradiction Benchmark）と、査読を書く前に付録と関連研究を読む、3 つのエージェントによる多層査読（Multi-Layered Review）のシステムを導入している。
なぜ重要か
科学は投稿に溺れている。AI が生成した論文の洪水も含めてだ。安く、信頼できる誤りチェックは、査読がどう規模を広げるかを変える。ただし、本物の誤りに対して効く場合に限る。
詳細
査読を 4 件行うと、このシステムは主要な主張の矛盾の 73.4% を捉えた。それまでの最良のベースラインは 14.8% で、査読 1 件あたり約 0.50 ドルだった、と著者らは報告している。
実際に撤回された論文では、一致をどれだけ厳しく採点するかによって、検出率は 16% から 26% へ落ちた。結果は著者ら自身のもので、独立した追試はされていない。
確認できなかったこと
- これ自体は、まだ査読を受けていない。
- 合成した矛盾は、本物の誤りより見つけやすいかもしれない。