Lưu trữ — US — techcrunch
Chỉ trích về các chuẩn AI crowdsourced có nhiều thiếu sót, theo ý kiến của một số chuyên gia
Chuyên gia chỉ trích các bộ tiêu chuẩn trí tuệ nhân tập do thiếu tính xác thực và có thể dẫn đến các tuyên bố sai lầm. Các nhân vật chính như Emily Bender và Asmelash Teka Hadgu cho rằng các nền tảng như Chatbot Arena có thể biểu diễn sai hiệu suất mô hình do chiến lược đo lường không chính xác. Các đề xuất bao gồm việc bồi thường cho người đánh giá và đảm bảo rằng các tiêu chuẩn là linh hoạt và cụ thể cho các ứng dụng, với việc so sánh với các phương pháp gán nhãn dữ liệu trong quá khứ.
Điểm chính
- Sử dụng các nền tảng được tập trung vào cộng đồng như Chatbot Arena ngày càng tăng để các phòng thí nghiệm trí tuệ nhân tạo đánh giá các mô hình.
- Emily Bender đưa ra quan điểm về đạo đức và tính hợp lệ trong nghiên cứu của các thang đo này.
- Phê bình rằng các thang đo đang bị lợi dụng cho việc quảng cáo những tuyên bố quá mức về mô hình.
- Yêu cầu bồi thường cho các người đánh giá nhằm tránh các hành vi lợi dụng đã được thấy ở công việc gán nhãn dữ liệu.
- Đề xuất đa dạng hóa công cụ đánh giá và điều chỉnh chúng cho các trường hợp sử dụng cụ thể.
Vì sao quan trọng
- Việc phê bình phương pháp đánh giá dựa vào cộng đồng phản ánh những thách thức rộng lớn hơn trong ngành công nghiệp về việc duy trì sự chịu trách nhiệm và minh bạch của trí tuệ nhân tạo.
- Sự tiến hoá của việc đánh giá trí tuệ nhân tạo đóng vai trò quan trọng giữa sự phát triển nhanh chóng của công nghệ và quá trình biến đổi số đang diễn ra.
- Những vấn đề lịch sử trong việc gán nhãn dữ liệu nhấn mạnh sự cần thiết phải xem xét các yếu tố đạo đức trong quá trình phát triển trí tuệ nhân tạo.
Cuộc tranh luận liên quan đến việc sử dụng dữ liệu từ đám đông trong việc đánh giá AI nhấn mạnh sự cần thiết của việc cải thiện các phương pháp đánh giá để đảm bảo đạo đức và độ chính xác, phù hợp với sự phát triển nhanh chóng của ngành công nghiệp và những bài học lịch sử về việc khai thác.