JP — ITmedia
OpenAI, Google, Microsoft, AI 학습 거부를 위한 공통 robots.txt 신호 지원 발표
정책·산업2분 읽기
OpenAI, Google, Microsoft는 웹사이트 주인이 AI 학습에 자기 콘텐츠를 써도 되는지 한 번에 알릴 수 있는 공통 방법을 지원하겠다고 밝혔습니다. 이 신호는 웹사이트가 검색 로봇을 조절할 때 이미 쓰는 robots.txt 파일에 적습니다.
무슨 일이 있었나
10월 30일(미국 시간) OpenAI, Google, Microsoft는 각각 공통 시스템을 지원하겠다고 발표했습니다. Anthropic도 이 시스템을 만들고 있습니다. 이 시스템은 웹사이트 주인이 여러 AI 회사에 AI 학습에 대한 뜻을 한꺼번에 전할 수 있게 해 줍니다. 이 아이디어는 Anthropic의 표준 담당자 Kevin Kelly가 표준 단체 IETF에 보낸 초안에서 나왔습니다.
지금까지는 어땠나
지금까지 웹사이트 주인은 AI 회사마다 다른 크롤러(웹페이지를 방문해 내용을 복사하는 프로그램)를 찾아서, 각각 따로 규칙을 써야 했습니다. 새 방식은 robots.txt에 공통 신호를 한 번만 적으면, 이를 지원하는 모든 AI 회사가 그 신호를 읽을 수 있습니다.
핵심 내용과 숫자
- 공통 신호는 robots.txt의 "User-Agent" 줄 아래에 "__usage_ai-training"이라는 정책 표시(토큰)를 씁니다.
- "Disallow"는 AI 학습을 허용하지 않는다는 뜻이고, "Allow"는 허용한다는 뜻입니다.
- 예: "Disallow: /"와 "Allow: /press-kit/"을 함께 쓰면, /press-kit/ 페이지만 빼고 AI 학습이 안 됩니다.
- 공통 표시를 설정하지 않으면, 웹사이트가 AI 학습에 대해 아무 뜻도 밝히지 않은 것으로 봅니다.
- 이 신호는 크롤링 자체를 막지는 않습니다. 각 크롤러의 크롤링 규칙은 그대로 적용됩니다.
왜 중요한가
많은 언론사가 AI 회사가 자기 콘텐츠를 쓰는 방식에 대해 소송을 냈습니다. 그래서 웹사이트 주인은 자기 콘텐츠를 분명하게 통제하기를 원합니다. 공통 신호는 여러 개의 규칙을 따로 관리하는 일을 줄여 줄 수 있습니다. EU AI 법의 범용 AI 행동 강령도 robots.txt를 기계가 읽을 수 있는 뜻 표현의 주요 방법으로 인정하고 있어 방향이 맞습니다. 다만 회사가 자체 도구나 개별 계약으로 공통 신호를 덮어쓸 수 있어, 아직 모든 곳에서 규칙이 같지는 않습니다.
앞으로 지켜볼 점
- OpenAI가 몇 달 안에 실제로 지원을 시작하는지
- Google과 Microsoft가 정해진 날짜에 맞춰 새 설정을 적용하는지
- Anthropic이 자사 모든 서비스에 지원을 넓히는 속도
- 회사들이 자체 도구나 개별 계약으로 공통 신호를 덮어쓰는지
용어 풀이
- robots.txt
- 웹사이트 주인이 검색 로봇과 크롤러에게 어디를 방문해도 되는지 알려 주는 텍스트 파일입니다.
- IETF
- 인터넷 기술 표준을 정하는 국제 단체입니다.
- Anthropic
- AI 모델 Claude를 만드는 AI 회사입니다.