보관된 글 — US — techcrunch
AI 크롤러로 인해 위키미디어 커먼스 대역폭 수요 50% 급증
위키미디어 재단이 보고서를 발표했습니다. 위키미디어 공용에서의 다운로드 대역폭 수요가 50% 증가했는데, 이는 인간 사용자가 아닌 인공지능 크롤러들 때문이라고 합니다. 이 크롤러들은 높은 비용과 리소스 부담을 초래하여, 이를 차단하려는 노력들이 진행 중이며, 이로써 개방된 인터넷 이용 가능성이 위협 받을 수도 있습니다.
핵심 정리
- 2024년 1월 이후 대역폭 사용량이 50% 증가했습니다.
- 자동화된 AI 스크래퍼들 때문에 가장 리소스를 많이 사용하는 트래픽의 65%가 봇에서 발생하며, 이들 봇은 전체 페이지 조회수의 35%만 기여합니다.
- 봇들은 인기 없는 페이지를 대량으로 읽기 때문에 이 콘텐츠가 중심 데이터 센터에서 제공되어 비용이 증가합니다.
- 위키미디어는 사용자 경험을 유지하기 위해 크롤러 차단에 리소스를 돌리고 있습니다.
- 이 문제는 개방형 인프라에 영향을 주는 보다 광범위한 트렌드를 반영하며, 개발자와 기업들이 봇 트래픽 급증에 대응하고 있습니다.
왜 중요한가
- AI 크롤러의 증가는 공공 인터넷 자원에 상당한 도전을 제기하고 있습니다.
- 개발자들로부터의 유사한 불평은 오픈 소스 프로젝트에 미치는 영향을 강조하고 있습니다.
- Cloudflare의 AI 미로처럼 반응 메커니즘은 기술 회사들이 크롤러의 영향을 완화하려는 노력을 보여줍니다.
위키미디어 공용의 상황은 AI 크롤러가 오픈 지식 플랫폼의 지속 가능성에 대한 증가하는 위협을 보여주며, 온라인 정보 접근을 제한할 위기에 대응하기 위한 긴급 방어 조치가 필요하다는 점을 보여줍니다.