OpenAIのLifeValベンチマーク、育児や予算などの日常タスクでAIをテスト

OpenAIはLifeValを公開した。これは試験問題ではなく日常生活の普通の雑用でAIをテストするベンチマークである[1]。育児や予算から行政サービスまで、人々が最も助けを求めると答えたタスクを対象とし、OpenAIはこれを1年間社内で使用したと述べている[1][2]。

LifeValとは何か？

LifeValは、育児を探すことや予算を作成するなどの日常タスクをAIモデルがどれだけうまく扱えるかを測定します。 OpenAIは、個人的なアシスタントはチャットでアドバイスをするだけでなく、実際に物事を成し遂げる行動を取らなければならないと主張している[1]。

同社は、過去1年間にこの評価をモデル改善の追跡と推進に使用したと述べている[1]。

OpenAIはどのようにタスクを選んだか？

American Time Use SurveyとMultinational Time Use Studyから開始し、これらは人々が1日をどのように過ごすかを記録したものである[1]。OpenAIは、2つの時間使用調査に新たに人口統計学的に代表的な3,995人の回答者による調査を追加しました。 タスクは介護、健康、教育、家事、個人財政、買い物、行政サービスに及ぶ[1]。

モデルはどのようにスコアリングされるか？

OpenAIは、現在のモデルが5つの例示タスクで90.4%から100%のスコアを示しています。 Luzerne Countyで予算に合う家を探すタスクは100%、引っ越し後の幼稚園登録は93.1%、新たに糖尿病と診断された親のための食事計画は90.4%だった[1]。

私たちの見解

意見: 日常的な有用性の測定は遅ればせながら重要だが、販売する企業自身が設計・実施・採点するベンチマークには外部検証が必要だ。5つのほぼ満点の例を示しても、モデルがまだ失敗する箇所についてはほとんどわからない。

検証できなかった点

• モデルごとのLifeVal全体スコアと競合アシスタントとの比較。発表ページに完全な結果表は見つからなかった。
• タスクセットと採点方法が公開され、他者がベンチマークを実行できるかどうか。
• 例示スコアがどのように採点されたか。