Lưu trữ — US — turtlesai
Đánh Giá Các Mô Hình Ngôn Ngữ Lớn Qua Nhận Thức Của Người Dùng: Trường Hợp Tìm Kiếm Arena
Search Arena đánh giá các mô hình ngôn ngữ lớn (LLMs) bằng cách sử dụng thông tin từ người dùng thời gian thực, phân tích các sở thích từ hơn 7,000 lượt bầu chọn. Kết quả chính cho thấy người dùng ưa thích các câu trả lời dài hơn, được trích dẫn nhiều, với Gemini-2.5-Pro-Grounding và Perplexity-Sonar-Reasoning-Pro-High dẫn đầu danh sách xếp hạng. Nền tảng này khuyến khích việc đánh giá LLM theo hướng người dùng và minh bạch với các bộ dữ liệu mã nguồn mở để tiếp tục nghiên cứu.
Điểm chính
- Search Arena là một nền tảng để đánh giá LLMs bằng cách sử dụng phản hồi thời gian thực từ người dùng.
- Các xếp hạng chính cho thấy Gemini-2.5-Pro-Grounding và Perplexity-Sonar-Reasoning-Pro-High được đánh giá cao nhất dựa trên thông tin từ người dùng.
- Ba đặc điểm ảnh hưởng đến sở thích của người dùng bao gồm độ dài của câu trả lời, số lượng trích dẫn và loại nguồn thông tin (ví dụ như YouTube, diễn đàn trực tuyến).
- Việc tiêu chuẩn hóa kiểu trích dẫn có ảnh hưởng ít tới xếp hạng nhưng cải thiện cảm nhận tổng quan về các phản hồi.
- Bộ dữ liệu mã nguồn mở 'search-arena-7k' cho phép phân tích mô hình một cách sâu hơn và khuyến khích sự tham gia của cộng đồng.
Vì sao quan trọng
- Mô hình đánh giá tập trung vào người dùng ngày càng quan trọng trong lĩnh vực trí tuệ nhân tạo, đặc biệt là trong việc phát triển liên tục và đánh giá hiệu suất của các mô hình ngôn ngữ lớn (LLMs).
- Sự phát triển của các ứng dụng trí tuệ nhân tạo đã làm cho các cơ chế phản hồi thời gian thực trở nên quan trọng để cải thiện hiệu suất mô hình theo mong đợi của người dùng.
- Các Xu hướng Công nghệ Thông tin năm 2025 nhấn mạnh tầm quan trọng của sự minh bạch và sự hợp tác giữa các nhà phát triển trí tuệ nhân tạo và người dùng để cải thiện hệ thống.
Phương pháp đánh giá LLM của Search Arena đặc biệt nhấn mạnh vào phản hồi từ người dùng để đánh giá hiệu suất, đại diện cho sự chuyển đổi quan trọng hơn đối với việc phát triển trí tuệ nhân tạo một cách linh hoạt và minh bạch, quan trọng để tăng cường tương tác giữa con người và trí tuệ nhân tạo.