アーカイブ — US — techcrunch
「AIの幻覚は悪いインセンティブが原因か？」
オープンAIの新しい研究では、GPT-5やChatGPTなどの大規模言語モデルにおけるAIの幻覚という問題が探られています。研究者たちは、幻覚を無効な事前訓練方法に帰属し、現在の評価モデルが正確さよりも当てずっぽうを助長していると指摘しています。彼らは、間違った回答に対するペナルティを組み込むことを提案し、幻覚を引き起こすモデリング行動を減少させることを目指しています。
要点
- 研究者は、幻覚を、妥当だが誤ったAIの出力と定義しています。
- 例: 著者の博士論文や誕生日に関する質問への不正解な回答。
- 幻覚は、真偽ラベルの代わりに次の単語を予測することに焦点を当てた事前トレーニングによって発生します。
- 評価モデルは、誤った予測を奨励し、不確実性よりむしろ推測を促しています。
- 提案された解決策: 評価基準を更新して、推測をより厳しくペナルティーを科し、不確かさを表現することを報酬とする。
なぜ重要か
- AI alucinationsは、生成的AIシステムの信頼性に影響を及ぼす重要な課題です。
- 現在のAIのトレンドは、特に規制された産業においてAIの出力の精度と認識を向上させることに焦点を当てています。
- Disrupt 2025などのテックイベントは、AIの開発におけるこれらの課題に取り組む重要性を強調しています。
OpenAIの研究によると、AIの幻覚に対処するには、評価方法を進化させる必要があると強調されています。自信を持って間違った答えを出すことを罰することに焦点を移すことが、より信頼性の高いAIシステムを生み出す道を開くかもしれません。これはAIがさまざまな分野に統合され続ける中で、重要な一歩となり得ます。