アーカイブ — US — techcrunch
AnthropicのClaudeモデル、一部が「有害または虐待的」な会話を終了可能に
アンソロピックは、Claudeモデルに新しい機能を導入し、違法なコンテンツを勧誘するなど、有害な会話を終了することを可能にしました。ユーザー保護ではなく「モデルの福祉」を理由にこの変更が行われました。この変更は、Claude Opus 4および4.1において、AIとのやりとりに伴うリスクを理解し軽減するための継続的な実験の一環です。
要点
- Anthropicの新機能では、Claudeモデルが有害な会話を終了できるようになりました。この動機は「モデルの福祉」で、極端なネガティブな相互作用からAIモデルを保護することを目指しています。未成年者を巡る性的な内容を求めるようなケースなど、稀なケースにのみ適用されます。Claudeモデルは、これらの状況に直面した際に、デプロイ前のテストで苦慮を示しました。ユーザーは、以前の会話が終了していても新しい会話を開始することができます。
なぜ重要か
- AIに関する広範な議論と一致しており、AIの相互作用における責任と安全性に関するものです。
- AIの影響がユーザーの行動に及ぼす懸念は、テクノロジープラットフォームと精神衛生に関する議論と共鳴しています。
- 技術の進歩に伴い、AI倫理においてモデルの福祉を重要な考慮事項として浮かび上がっています。
Anthropicの新しい機能は、AIモデルの安全性に対する積極的なアプローチを示しており、AI技術がユーザーとの相互作用に深く統合されるにつれて、継続的な評価の必要性を強調しています。