JP — ITmedia
OpenAI, Google và Microsoft sẽ hỗ trợ tín hiệu robots.txt chung để từ chối huấn luyện AI
Chính sách2 phút đọc
OpenAI, Google và Microsoft cho biết họ sẽ cùng hỗ trợ một cách chung để chủ website báo cho các công ty AI biết nội dung của họ có được dùng để huấn luyện AI hay không. Tín hiệu chung này được viết trong tệp robots.txt mà website vẫn dùng để quản lý các chương trình thu thập dữ liệu.
Chuyện gì đã xảy ra
Ngày 30/10 (giờ Mỹ), OpenAI, Google và Microsoft đều nói rằng họ sẽ hỗ trợ một hệ thống chung. Hệ thống này cho phép chủ website nêu mong muốn về việc huấn luyện AI với nhiều công ty AI cùng lúc. Anthropic cũng đang xây dựng hệ thống này. Ý tưởng được đưa ra trong một bản nháp gửi tới nhóm tiêu chuẩn IETF bởi Kevin Kelly, một người phụ trách tiêu chuẩn tại Anthropic.
Trước đây hoạt động thế nào
Trước đây, chủ website phải tìm từng chương trình thu thập dữ liệu (crawler) của mỗi công ty AI, rồi viết quy tắc riêng cho từng cái. Hệ thống mới chỉ cần một tín hiệu chung trong robots.txt. Chủ website chỉ viết một lần, và mỗi công ty AI hỗ trợ hệ thống này đều có thể đọc được.
Các con số và thông tin chính
- Tín hiệu chung là mã "__usage_ai-training", đặt dưới dòng "User-Agent" trong robots.txt.
- "Disallow" nghĩa là không cho huấn luyện AI. "Allow" nghĩa là cho phép.
- Ví dụ: "Disallow: /" cùng "Allow: /press-kit/" nghĩa là không huấn luyện AI trên mọi trang, trừ trang /press-kit/.
- Nếu không đặt mã chung, website được coi là chưa nêu mong muốn nào về huấn luyện AI.
- Tín hiệu này không chặn việc thu thập dữ liệu. Quy tắc thu thập của từng chương trình vẫn có hiệu lực.
Vì sao điều này quan trọng
Nhiều nhà xuất bản đã kiện các công ty AI về cách họ dùng nội dung. Vì vậy, chủ website muốn có quyền kiểm soát rõ ràng. Một tín hiệu chung có thể giảm công việc quản lý nhiều quy tắc riêng lẻ. Nó cũng phù hợp với bộ quy tắc thực hành của Đạo luật AI của EU, trong đó robots.txt được chấp nhận là một cách chính để thể hiện mong muốn mà máy đọc được. Tuy vậy, các công ty vẫn có thể dùng công cụ riêng hoặc thỏa thuận riêng để ghi đè tín hiệu chung, nên quy tắc chưa thống nhất ở mọi nơi.
Cần theo dõi
- OpenAI có hỗ trợ đúng như hứa trong vài tháng tới hay không.
- Google và Microsoft triển khai theo đúng các mốc năm 2027 đã nêu.
- Anthropic hoàn thiện hỗ trợ trên toàn bộ dịch vụ của mình khi nào.
- Các công ty có tiếp tục dùng công cụ riêng hay thỏa thuận riêng để ghi đè tín hiệu chung không.
Chú giải
- robots.txt
- Tệp văn bản trên website để báo cho các chương trình thu thập dữ liệu biết được phép đọc những gì.
- crawler
- Chương trình tự động ghé thăm các trang web và sao chép nội dung của chúng.
- Anthropic
- Công ty AI đang xây dựng hỗ trợ cho tín hiệu chung này.
- IETF
- Nhóm tổ chức xây dựng các tiêu chuẩn kỹ thuật cho internet.