アーカイブ — US — techcrunch
オープンソース開発者がAIクローラーに巧妙さで反撃
オープンソースの開発者たちは、しばしば確立されたプロトコルを無視する攻撃的なAIクローラーと闘っています。開発者Xe Iaso は、本物のユーザーにアクセスを制限するツールであるAnubisを作成しました。この問題の拡大により、他の開発者たちは、サイトを荒らすボットに対抗するために、国全体をブロックするなどの極端な手段に訴えている光景が見られます。
要点
- AIウェブクローラーは、インターネットのゴキブリに譬えられており、オープンソースプロジェクトに混乱をもたらしています。
- Xe Iasoなどの開発者は、Anubisのようなツールを作成して、これらのボットと戦い、Gitサーバーにアクセスできるのは人間のみとなるようにしています。
- AIクローラーはしばしばロボット排除プロトコルを無視し、オープンソースプラットフォームの停止やサービス劣化の複数の報告を引き起こしています。
- 他の開発者は、クローラーに誤情報を提供したり、完全なIPレンジのブロックを行うなど、ユーモラスで極端な対策を提案しています。
- Cloudflareは、AI Labyrinthを開発しており、ボットを混乱させつつ、『クロールしないで』の指示を尊重するようにしています。
なぜ重要か
- AIクローラーに関する現在の課題は、IT業界全体で、特に生成AIの台頭に伴い、AIツールの倫理的な展開が検討されているトレンドを反映しています。
- 2025年には、AI駆動のスクレイパーの普及が、革新とウェブリソースの公正な利用のバランスに関する議論を形作る可能性があります。
- オープンソース開発者の経験は、データプライバシー、インターネット倫理、およびテックエコシステムにおけるリソース割り当てに関連する広範な業界問題とリンクしています。
オープンソース開発者とAIクローラーとの争いは、デジタルランドスケープにおける重要な脆弱性を浮き彫りにし、AIの展開における革新的な戦略と倫理的考慮の必要性を示しています。