AI 업계 거물들, 스크래핑 거부를 위한 새로운 방식 지지

무슨 일이 있었나요?

네 회사는 '정책 토큰(policy token)'이라는 공통 신호를 따르기로 했습니다. 이 신호는 웹사이트의 robots.txt 파일에 들어갑니다. 이 파일은 원래 검색 로봇이나 수집 프로그램이 어디를 방문해도 되는지 알려주는 파일입니다. 지금까지는 사이트마다 AI 회사별로 따로 설정해야 했지만, 앞으로는 한 번에 설정할 수 있습니다. Anthropic의 Kevin Kelley가 이 신호를 제안했고, 표준을 만드는 단체인 IETF에서 논의되고 있습니다. 신호를 받으면 네 회사는 해당 사이트의 AI 크롤러 접근을 제한하겠다고 밝혔습니다.

핵심 사실

• Anthropic은 이미 이 신호를 도입했습니다.
• Google과 Microsoft는 내년부터 지원할 계획입니다.
• OpenAI는 '앞으로 몇 달 안에' 적용하겠다고 했습니다.
• Microsoft는 AI 학습 제외와 AI 그라운딩(grounding) 제외를 따로 고를 수 있게 합니다.
• Microsoft는 설정과 상관없이 웹사이트가 Bing 검색 결과에는 계속 나온다고 밝혔습니다.

왜 이런 일이 생겼나요?

AI 회사들은 인터넷에 있는 글과 사진을 자동 프로그램인 크롤러로 모아 AI를 가르칩니다. 많은 언론사와 사이트 주인은 허락 없이 내용이 가져가져서 걱정하고 있습니다. 일부 회사는 이를 막으려고 노력해 왔습니다. 예를 들어 Really Simple Licensing(RSL) 표준은 크롤러에게 사용료를 받을 수 있게 합니다. Cloudflare는 AI 크롤러를 기본적으로 막고 있습니다.

왜 중요한가요?

사이트 주인이 한 번만 설정해도 여러 AI 회사에 원하는 뜻을 전할 수 있게 되기 때문입니다. 지금처럼 회사마다 따로 설정하는 일은 번거롭고 빠뜨리기도 쉽습니다. 다만 이 약속이 실제로 지켜지는지는 앞으로 더 지켜봐야 합니다.

앞으로 지켜볼 점

• OpenAI, Google, Microsoft가 실제로 언제 이 신호를 적용하는지
• IETF에서 이 표준이 정식 규칙으로 만들어지는지
• Microsoft의 세부 설정이 다른 회사에도 퍼질지