アーカイブ — US — techcrunch
AIクローラーの影響でWikimedia Commonsの帯域幅需要が50%急増
ウィキメディア財団は、ウィキメディア・コモンズからのダウンロードの帯域要求が50％増加したことを報告しています。この増加は、人間の利用者ではなく、AIクローラーに起因しているとされています。これらのクローラーは高いコストやリソースへの負担を引き起こし、ブロックする取り組みが行われる可能性があり、オープンなインターネットの可用性に影響を与える恐れがあります。
要点
- 2024年1月以来、帯域幅の消費量が50%急増した。
- 最もリソースを多く消費するトラフィックの65%はボットから来ており、これらのボットは総ページビューの35%しか貢献していない。
- ボットは、人気のないページを一括で読み込む傾向があり、コアデータセンターからそのコンテンツを提供することでコストが増大している。
- ウィキメディアは、ユーザーエクスペリエンスを維持するために、クローラーを遮断するためのリソースを振り向けている。
- この問題は、ボットトラフィックの急増に対応している開発者や企業が対応している、オープンソースインフラに影響を与えるより広範なトレンドを反映している。
なぜ重要か
- AIクローラーの増加は、公共のインターネットリソースに重大な課題をもたらしています。
- 開発者からの増加する帯域幅要求に関する同様の苦情は、オープンソースプロジェクトへの影響を強調しています。
- CloudflareのAI Labyrinthなどの対応メカニズムは、テック企業がクローラーの影響を緩和しようとする取り組みを示しています。
ウィキメディア・コモンズの状況は、AIクローラーがオープンな知識プラットフォームの持続可能性に対する脅威を示しており、オンラインでの情報アクセスを制限する可能性がある緊急の防御策が必要とされています。