EXPLORINEER
ja

アーカイブ — US — techcrunch

AIのベンチマークに「Super Mario」が活用される

UCサンディエゴ校のHao AI Labの研究者たちは、Super Mario Bros.を使用してAIのベンチマークを行い、AnthropicのClaude 3.7がOpenAIの GPT-4oを含む他のモデルよりも優れていることがわかりました。この研究は、リアルタイムのゲームプレイにおける推論モデルの課題を強調し、意思決定が遅くなることから生じる問題について議論を呼び起こし、AIの能力を評価する際のゲームのベンチマークの重要性について考察されています。

要点

  • Hao AIラボは、Super Mario Bros.でのAIのパフォーマンスをテストしました。エミュレーターとGamingAgentフレームワークを使用しました。
  • AnthropicのClaude 3.7は、Claude 3.5、GoogleのGemini 1.5 Pro、OpenAIのGPT-4oなど他のモデルを凌駕しました。
  • モデルはゲーム内をナビゲートする指示を受け、Pythonコードを使って行動を生成しました。
  • 推論モデルはリアルタイムのゲームプレイでのパフォーマンスが劣りました。なぜなら、行動を決定するのに時間がかかるからです。
  • この研究は、AIの評価のためのゲームベンチマークの妥当性についての懸念を示しています。

なぜ重要か

  • 人工知能（AI）のゲームベンチマークは歴史的な前例がありますが、現実世界でのAIの能力との関連性について疑問視されています。
  • 2025年現在、AIのパフォーマンスを評価するための意味のあるメトリクスとは何かについて議論が続いています。
  • AIアプリケーションの複雑さの増加は、従来のメトリクスを超えたベンチマークの実践の進化と同様のものです。

ゲームでのAIの探求は、Super Mario Bros.などのゲームにおいてベンチマークの有効性についての重要な問題を提起し、現実世界での適用可能性を評価するためのより強力な評価基準の必要性を示唆しています。