アーカイブ — US — techcrunch
OpenAIのo3 AIモデル、初めの示唆よりもベンチマークスコアが低い結果に
オープンエーアイのo3 AIモデルは、独立したテストで元々主張されていたよりも低いスコアを記録し、透明性に関する懸念が高まっています。オープンエーアイは最初、FrontierMathの問題で25％以上の正確さを報告していましたが、Epoch AIのベンチマークでは約10％の結果が示されました。この違いは、テスト条件やモデルのバージョンの違いに起因しています。この状況は、企業が競争力を確保するためにAIベンチマーキングの実践における継続的な論争を浮き彫りにしています。
要点
- OpenAIのo3モデルは、12月のローンチ時にFrontierMathに対して25%以上の精度を謳っていました。
- Epoch AIが独自にo3をテストし、精度が10%だと判明しました。
- 両者の結果の違いは、テストの設定、FrontierMathのバージョン、内部基準に帰因されています。
- リリースされたモデルのパフォーマンスが低いことが問題視され、AI企業のベンチマーキング手法に疑問が投げかけられています。
- OpenAIは、より強力なバージョンであるo3-proをリリースする予定であり、より小さいモデルがo3を上回る状況です。
なぜ重要か
- AIのベンチマークに関する論争が増加しており、AIの能力に対する一般の認識に影響を与えています。
- Elon MuskのxAIやMetaなど、他の企業でも同様の事案が発生しており、誤ったベンチマークの報告に関するトレンドが見られます。
- 2025年までに、テクノロジーの競争が激化する中、企業はAIモデルの主張に対する益々厳しい審査を受けることになります。
この事件は、AIのベンチマークテストにおける透明性と正確性の重要性を強調しています。産業の急速な発展に伴い、監査や競争のプレッシャーが高まっている中で、この問題が浮き彫りになりました。