Le benchmark LifeVal d'OpenAI teste l'IA sur des tâches quotidiennes comme la garde d'enfants et les budgets

OpenAI a publié LifeVal, un benchmark qui teste l'IA sur les corvées ordinaires de la vie quotidienne plutôt que sur des questions d'examen [1]. Il couvre les tâches que les gens ont déclaré vouloir le plus d'aide, de la garde d'enfants et des budgets aux services gouvernementaux, et OpenAI indique l'avoir utilisé en interne pendant un an [1][2].

Qu'est-ce que LifeVal ?

LifeVal mesure la capacité des modèles d'IA à gérer des tâches quotidiennes telles que la recherche de garde d'enfants ou la création d'un budget. [1] OpenAI soutient qu'un assistant personnel doit prendre des actions qui permettent d'accomplir des choses, et pas seulement donner des conseils dans un chat [1].

L'entreprise indique avoir utilisé l'évaluation au cours de l'année passée pour suivre et stimuler l'amélioration de ses modèles sur les tâches quotidiennes [1].

Comment OpenAI a-t-il choisi les tâches ?

Il a commencé par l'American Time Use Survey et le Multinational Time Use Study, qui cataloguent la façon dont les gens passent leurs journées [1]. OpenAI a ajouté une nouvelle enquête démographiquement représentative de 3 995 répondants à deux études sur l'utilisation du temps. [1] Les tâches couvrent les soins, la santé, l'éducation, l'administration du foyer, les finances personnelles, les achats et les services gouvernementaux [1].

Comment les modèles obtiennent-ils des scores ?

OpenAI montre que ses modèles actuels obtiennent des scores entre 90,4 % et 100 % sur cinq tâches exemple. [1] La recherche d'un logement dans le comté de Luzerne qui correspond à un budget a obtenu 100 %, l'inscription en maternelle après un déménagement 93,1 % et un plan de repas pour un parent avec un nouveau diagnostic de diabète 90,4 % [1].

Notre analyse

Opinion : Mesurer l'utilité au quotidien est en retard, mais un benchmark conçu, exécuté et noté par l'entreprise qui vend l'assistant a besoin d'une réplication externe. Montrer cinq exemples quasi parfaits nous apprend peu sur les endroits où les modèles échouent encore.

Ce que nous n'avons pas pu vérifier

• Les scores globaux LifeVal par modèle et leur comparaison avec les assistants concurrents ; nous n'avons trouvé aucun tableau complet des résultats sur la page d'annonce.
• Si l'ensemble des tâches et la notation seront publiés pour que d'autres puissent exécuter le benchmark.
• Comment les scores exemple ont été notés.