AI大手各社、スクレイピングを拒否する新たな仕組みを支持

何が起きたのか

これまでサイトの運営者は、AI企業ごとに「学習に使わないで」という設定を別々にする必要がありました。新しい仕組みでは、共通の「ポリシートークン」という目印をサイトの設定ファイルに書くだけで、複数のAI企業に同じ希望を伝えられます。この目印はAnthropicの技術責任者Kevin Kelleyが提案し、IETF（インターネット技術の標準を決める団体）の場で進められています。4社は、この目印を見つけたら、該当するサイトへのAIクローラー（情報を自動で集めるプログラム）のアクセスを制限すると表明しています。

数字で見るポイント

• 設定の場所は robots.txt（どのクローラーが見てよいかを書くファイル）
• Anthropicはすでに対応済み
• Googleと Microsoftは来年対応する予定
• OpenAIは「今後数か月以内」に実装すると説明

なぜこの話が出てきたのか

AIのクローラーがウェブサイトを次々に訪れ、記事や写真などの内容をAIモデルに取り込んでいます。サイト運営者は許可なく使われることに困っています。そこで、Really Simple Licensing（RSL）という仕組みでクローラーから料金を取れるようにする動きや、Cloudflareが初期設定でAIクローラーを止める動きも出ています。

なぜ大切なのか

サイトごとに何社も設定を変える手間が減り、運営者が自分の希望を伝えやすくなります。ただし、Microsoftは、サイトの情報を検索結果に出すことは続けると説明しています。また、AIが答えを作るときに信頼できる情報源を参照する「グラウンディング」について、別々に許可を選べる細かい設定も用意するとしています。

今後注目したいこと

• Google、Microsoft、OpenAIが実際にいつ対応するか
• この共通の目印がIETFで正式な標準になるか
• AIクローラーが本当に目印を守るかどうか
• RSLやCloudflareなど他の仕組みとどう関係するか