新ベンチマーク：頼んだとおりのエージェントを、確実に作れるコーディングエージェントはない

ニュース

10月9日に arXiv へ投稿された AgentSWE というベンチマークは、コーディングエージェントが平易な言葉の要件から、別の AI エージェントを構築し、編集し、最適化できるかを試す。隠されたテストケースと、合否の関門で判定する 25 の課題について、試したコーディングエージェントは、複数のモデルとハーネスをまたいでも、要件が求めたものを届けるには遠く及ばなかった、と著者らは報告している。

なぜ重要か

ベンダーはますます、コーディングエージェントを、さらにエージェントを作る道具として売り込む。この独立した結果は、デモと納品のあいだの隔たりが常態だと言っている。

詳細

繰り返された失敗には、見えている例への過学習、完成して見えるが実行されない中身のないコード、作業が終わったという裏付けのない主張が含まれた。コードとデータは GitHub にある。

この論文は、10月13日の Hugging Face のデイリー論文リストで、賛成が 3 番目に多かった。

確認できなかったこと

• 結果は著者ら自身のもので、まだ査読を受けていない。
• どのモデルの版が最も良かったかは、私たちは見ていない。