EXPLORINEER
ja

アーカイブ — US — techcrunch

Discord、AIモデレーションの不具合で無害な画像を理由にユーザーを誤って禁止したと認める

Discordは、5月以降、スプレッドシートやテクスチャなどの無害なコンテンツに対して誤って8000人以上のユーザーを追放してしまったと発表しました。この問題は、不正確な自動コンテンツマッチングから発生したもので、AIモデレーションの課題を浮き彫りにしています。Discordは影響を受けたアカウントの復旧に取り組んでおり、誤検知に対する保護策の向上に努めています。

要点

  • DiscordのAIモデレーションのバグにより、有害でないコンテンツからの誤検出により8,000人以上のユーザーがBANされました。
  • このバグは5月以降のアカウントに影響を与え、ある週末だけで追加の200人がBANされました。
  • モデレーションの問題は、ユーザーがアップロードしたコンテンツを有害なデータベースと照合するシステムに依存していることに起因しています。
  • 人間のモデレーターがフラグが立てられたコンテンツをチェックするはずでしたが、このバグにより即時BANされる事態が生じました。
  • 影響を受けたユーザーは、そのようなBANがコミュニケーションや交流に深刻な影響を与えることを強調し、大きな苛立ちを報告しています。

なぜ重要か

  • AIモデレーションシステムが誤ったアカウント停止をもたらすなど、InstagramやFacebookなどのさまざまなプラットフォームでAIモデレーションシステムが同様の問題に直面する傾向があるという一連の事象。
  • AIの誤りへの懸念から、Metaの監督委員会がより明確なガイドラインを求める運動があり、モデレーションの実践に対する透明性の向上が求められている。
  • AIの進化に伴い、ユーザーはその限界とコミュニティに影響を与える制度上のエラーの潜在性についてますます認識している。

この事件は、不当な結果を防ぐためにAIモデレーションシステムの改善が急務であり、ユーザーの信頼を高め、自動化ツールがコミュニティの参加を妨げるのではなく支援するようにすることの重要性を強調しています。