Lưu trữ — US — techcrunch
Các tiêu chuẩn của Meta cho các mô hình AI mới được cho là gây hiểu lầm một chút.
Mô hình AI mới của Meta, Maverick, đạt vị trí thứ hai trên LM Arena, nhưng phiên bản được kiểm tra khác với phiên bản công khai. Điều này gây lo ngại về tính đáng tin cậy của bản đánh giá và sự khác biệt tiềm năng trong hiệu suất, vì các nhà nghiên cứu đã lưu ý sự khác biệt đáng kể trong hành vi, như sự dư thừa của biểu tượng cảm xúc và sự dài dòng trong các câu trả lời từ phiên bản LM Arena.
Điểm chính
- Maverick đứng thứ hai trên LM Arena, nhưng đó là phiên bản thử nghiệm, không phải là phiên bản dành cho các nhà phát triển.
- Thông báo của Meta nêu rõ phiên bản LM Arena được tối ưu hóa cho khả năng trò chuyện.
- LM Arena có thể không phải là một phương tiện đáng tin cậy để đo lường hiệu suất AI, gieo mâu thuẫn về sự chính xác của các tiêu chí.
- Sự khác biệt về hiệu suất AI giữa Maverick có thể tải công khai và phiên bản LM Arena rõ rệt.
- Các nhà phê bình đã chỉ ra các vấn đề như việc sử dụng emoji quá mức và phản hồi dài hơn trong phiên bản LM Arena.
Vì sao quan trọng
- Sự nghi ngờ lịch sử về các chỉ số AI đã tồn tại từ lâu, đặc biệt là đối với tác động của chúng đối với sự hiển thị của mô hình.
- Vào năm 2025, sự bùng nổ của các mô hình AI tùy chỉnh cho các chỉ số tạo ra các xu hướng tương tự trong công nghệ, nơi các công ty tăng cường mô hình để cải thiện xếp hạng của họ.
- Cuộc tranh luận liên tục về các chỉ số hiệu suất AI phản ánh những quan ngại rộng lớn hơn về tính minh bạch và đáng tin cậy trong phát triển AI.
Cách Meta xử lý việc đánh giá hiệu suất của Maverick tái phản ánh những thách thức liên quan đến tính minh bạch và chỉ số hiệu suất đáng tin cậy trong lĩnh vực trí tuệ nhân tạo, điều này có thể ảnh hưởng đến sự tin cậy của nhà phát triển vào các giải pháp trí tuệ nhân tạo.