アーカイブ — US — techcrunch
専門家が指摘：クラウドソーシングによるAIベンチマークには深刻な欠陥が存在
専門家らは、クラウドソーシングされたAIベンチマークについて妥当性が欠如し、誤解を招く可能性があると批判しています。エミリー・ベンダーやアスメラシュ・テカ・ハドゥを含む主要な人物は、Chatbot Arenaなどのこれらのプラットフォームが、誤った測定戦略のためモデルのパフォーマンスを誤って表現しているかもしれないと主張しています。提案として、評価者への報酬の支払いや、ベンチマークが適応的でアプリケーションに特化していることを確認することが挙げられており、過去のデータラベリングの実践と類似点を指摘しています。
要点
- AI研究所がChatbot Arenaなどのクラウドソーシングプラットフォームの利用を拡大し、モデルをベンチマークすることが増えている。
- Emily Benderを含め、これらのベンチマークの倫理的・学術的妥当性に関する懸念が提起されている。
- ベンチマークが市場向けに誇張されたモデルの主張を広めるために悪用されているという批判がある。
- データラベリングの過剰な宣伝的手法を避けるため、評価者に対して報酬を支払う必要性が呼びかけられている。
- ベンチマークツールを多様化し、特定のユースケースに適応させる提案が出ている。
なぜ重要か
- クラウドソーシングされた評価方法の批判は、AIの責任と透明性を維持する業界全体の課題を反映しています。
- 急速な技術の進化や継続的なデジタル変革の中で、AIのベンチマークの進化は極めて重要です。
- データラベリングにおける歴史的な問題は、AI開発における倫理的考慮事項の解決の必要性を示しています。
クラウドソーシングされたAIベンチマークに関する議論が続いており、業界の急速な進化や過去の悪用の教訓と調和し、倫理と精度を確保する改善された評価方法の必要性が強調されています。