Đánh giá viên AI tích hợp sẽ không phải là giải pháp dễ dàng, giám đốc chính sách của Hugging Face nói

Chuyện gì đã xảy ra?

Tại sự kiện TechCrunch Disrupt, Irene Solaiman, giám đốc chính sách của Hugging Face, nói rằng cách đo lường AI còn phức tạp và đang được hoàn thiện. Bà cho rằng ngành AI cần một cách kiểm tra nhất quán hơn nếu muốn tin cậy các bài kiểm tra này trong tương lai. Bà cũng nói rằng ý tưởng đưa người đánh giá bên thứ ba vào các công ty AI vẫn còn nhiều điều chưa rõ.

Vì sao có chuyện này?

Các công ty AI thường dùng benchmark để chứng minh sản phẩm của họ tốt hơn đối thủ. Gần đây, nhiều công ty AI gặp các sự cố về an toàn. Thay vì chờ chính phủ đưa ra luật, họ đề xuất đưa người đánh giá từ bên ngoài vào công ty. Anthropic đã thuê Accenture làm người đánh giá đầu tiên, và việc này gây nhiều phản đối vì nhiều người cho rằng công ty tư vấn này chưa đủ khả năng.

Những điểm chính

• Hugging Face là một trong những nơi từng là mục tiêu của một sự cố an toàn AI.
• Anthropic đã thuê Accenture làm người đánh giá đầu tiên và bị chỉ trích mạnh.
• Theo bà Solaiman, một mô hình yếu hơn nhưng có "harness" (công cụ người dùng dùng để truy cập mô hình) tốt hơn có thể vượt một mô hình hàng đầu.
• Đánh giá AI "agent" (tác tử AI) rất khó và rất tốn kém.

Vì sao điều này quan trọng?

Điểm benchmark ảnh hưởng đến cách người dùng và doanh nghiệp chọn công cụ AI. Nếu các bài kiểm tra không lặp lại được kết quả hoặc không thể so sánh với nhau, người dùng khó biết sản phẩm nào thật sự tốt. Việc đánh giá cũng đang chuyển từ kiểm tra riêng mô hình sang kiểm tra cả hệ thống xung quanh nó.

Cần theo dõi điều gì?

• Ngành AI có xây dựng tiêu chuẩn chung cho bài kiểm tra và người đánh giá hay không.
• Các công ty có cho phép truy cập mô hình, ví dụ qua trọng số mở (open weights), để người khác kiểm tra lại kết quả không.
• Các bài kiểm tra cho harness và AI agent được phát triển đến đâu.