Lưu trữ — US — techcrunch
Nghiên cứu sử dụng câu hỏi NPR Sunday Puzzle để đánh giá mô hình "lý luận" của AI
Một nhóm các nhà nghiên cứu đã sử dụng Trò chơi Chủ nhật của NPR để đánh giá các mô hình lý do trí tuệ nhân tạo, tiết lộ cái nhìn sâu sắc về khả năng giải quyết vấn đề cũng như hạn chế của chúng. Nghiên cứu này đã chỉ ra rằng, trong khi các mô hình lý do hoạt động tốt, chúng đôi khi "từ bỏ" hoặc đưa ra các câu trả lời không chính xác. Mục tiêu là tạo ra một tiêu chuẩn truy cập dễ dàng khuyến khích sự khám phá và cải thiện thêm các mô hình trí tuệ nhân tạo mà không cần kiến thức chuyên sâu.
Điểm chính
- Nhóm nghiên cứu từ nhiều cơ sở đã sử dụng Trò chơi Chủ nhật của NPR để đánh giá các mô hình lý do của trí tuệ nhân tạo.
- Bài kiểm tra bao gồm 600 câu đố, kiểm tra các mô hình về kiến thức chung chứ không phải kiến thức chuyên biệt.
- Các mô hình trí tuệ nhân tạo như o1 của OpenAI vượt trội với tỉ lệ chính xác 59%, nhưng đôi khi đưa ra câu trả lời sai.
- Các mô hình lý do như R1 của DeepSeek thể hiện hành vi như nói 'Tôi từ bỏ' hoặc trở nên 'nản lòng', bắt chước phản ứng giống như con người.
- Bài kiểm tra đích đến là được cập nhật hàng tuần để đảm bảo thách thức liên tục cho các mô hình trí tuệ nhân tạo.
Vì sao quan trọng
- Xu hướng phát triển các tiêu chuẩn hơn kỳ vọng phản ánh các xu hướng công nghệ thông tin rộng lớn khấm phá cũng như khả năng truy cập và sử dụng của người dùng. Lịch sử đo lường hiệu suất trí tuệ nhân tạo đã tập trung vào các kỹ năng chuyên môn, nhấn mạnh vào khoảng cách trong khả năng giải quyết vấn đề thực tế hàng ngày. Với trí tuệ nhân tạo ảnh hưởng ngày càng nhiều đến cuộc sống hàng ngày, việc tạo ra các tiêu chuẩn có liên quan nhấn mạnh về sự quan trọng của tính minh bạch và sự hiểu biết công cộng về chức năng trí tuệ nhân tạo.
Nghiên cứu này cung cấp một phương pháp quý giá để hiểu và cải thiện việc lập lý AI, đảm bảo rằng các mô hình có thể được đánh giá dựa trên những thách thức dễ tiếp cận và dễ hiểu, từ đó nâng cao khả năng áp dụng chúng trong các tình huống hàng ngày.