Nouveau benchmark : aucun agent de code ne construit de façon fiable l'agent demandé

L'actualité

Un benchmark nommé AgentSWE, déposé sur arXiv le 9 octobre, teste si des agents de code peuvent construire, modifier et optimiser d'autres agents d'IA à partir d'une exigence en langage courant. Sur 25 tâches jugées à l'aide de cas de test cachés, avec des seuils de réussite ou d'échec, les auteurs rapportent qu'aucun agent de code testé, sur plusieurs modèles et harnais, n'est venu près de livrer ce que l'exigence demandait.

Pourquoi c'est important

Les vendeurs présentent de plus en plus les agents de code comme des outils pour construire d'autres agents. Ce résultat indépendant dit que l'écart entre la démonstration et la livraison est la norme.

Les détails

Les échecs récurrents comprenaient le surapprentissage sur les exemples visibles, du code creux qui paraît complet mais ne s'exécute pas, et des affirmations non étayées selon lesquelles le travail était terminé. Le code et les données sont sur GitHub.

L'article était le troisième le plus voté de la liste quotidienne des articles de Hugging Face pour le 13 octobre.

Ce que nous n'avons pas pu vérifier

• Les résultats sont ceux des auteurs, et ils n'ont pas encore été évalués par des pairs.
• Nous n'avons pas vu quelles versions de modèles ont le mieux réussi.