組み込み型AI評価者は簡単な解決策ではない、Hugging Faceの政策責任者が語る

何が起きたのか

Hugging Faceのチーフポリシーオフィサー、Irene Solaimanさんは、TechCrunch Disruptというイベントで、AIの評価テストはまだ発展途上だと語りました。テストを信頼できるようにするには、もっと一貫性のある科学にする必要があるといいます。また、AI企業が「埋め込み評価者」と呼ばれる外部の第三者を招く動きについても、中立性や効果にはまだ疑問が残ると述べました。

よく分からない言葉の説明

ベンチマークとは、AIモデルの性能を同じ条件で測るテストのことです。埋め込み評価者は、「中立的」とされる第三者の観察者をAI企業の中に入れて、安全性などを見てもらう仕組みです。AI企業は、政府による規制ではなく、この第三者の仕組みを選ぼうとしています。

押さえておきたいポイント

• AnthropicはAccentureを最初の評価者に選び、批判を集めました。
• 評価は、モデル単体から、ハーネス（ユーザーがモデルに接続する道具）やエージェントを含むシステム全体へと広がっています。
• ハーネスの良し悪しで、弱いモデルでも強いモデルより良い結果を出せる場合があります。
• Solaimanさんは、エージェントの評価は難しく、費用も高いと述べました。

なぜ大事なのか

AIの性能比較は、企業の判断や製品選びに使われます。テストの結果を再現できなかったり、テスト同士を比べられなかったりすると、信頼できる目安になりません。評価の方法を統一しない限り、ベンチマークは役に立つ道具として認められにくくなります。

今後注目したい点

• 評価者にどんな資格を求めるかという基準づくりが進むか。
• テスト結果を第三者が再現できる仕組みが整うか。
• ハーネスやエージェント全体を測る評価が広がるか。
• 業界全体で共通の評価方法が作られるか。