Lưu trữ — US — techcrunch
Người dùng đang sử dụng Super Mario để đánh giá AI
Các nhà nghiên cứu từ Lab AI Hao của Đại học UC San Diego đã sử dụng trò chơi Super Mario Bros. để đánh giá hiệu suất của trí tuệ nhân tạo, với kết quả rằng hệ thống Claude 3.7 của Anthropic vượt trội hơn so với các mô hình khác, bao gồm cả GPT-4 của OpenAI. Nghiên cứu đã nêu bật những thách thức cho các mô hình lý luận trong trò chơi thời gian thực do quá trình đưa ra quyết định chậm hơn, bắt đầu một cuộc trao đổi về tầm quan trọng của các tiêu chí đánh giá khả năng của trí tuệ nhân tạo thông qua các bài đo chơi game.
Điểm chính
- Hao AI Lab đã thử nghiệm hiệu suất AI trong Super Mario Bros., bằng cách sử dụng trình giả lập và framework GamingAgent.
- Claude 3.7 của Anthropic đã vượt trội so với các mô hình khác, bao gồm Claude 3.5, Gemini 1.5 Pro của Google và GPT-4o của OpenAI.
- Các mô hình đã được cung cấp hướng dẫn để điều hướng trong trò chơi, tạo ra các hành động thông qua mã Python.
- Các mô hình lý do thì thể hiện kém hơn trong trò chơi thời gian thực, vì chúng mất thời gian lâu hơn để quyết định hành động.
- Nghiên cứu này làm nổi bật những lo ngại về tính khả thi của các tiêu chuẩn đánh giá AI thông qua trò chơi.
Vì sao quan trọng
- Các bài kiểm tra trò chơi AI có tiền lệ lịch sử nhưng hiện nay bị đặt câu hỏi về mối liên kết với khả năng AI trong thế giới thực.
- Đến năm 2025, vẫn còn diễn ra các cuộc thảo luận về những chỉ số có ý nghĩa để đánh giá hiệu suất của AI, đặc biệt trong môi trường động.
- Sự phức tạp ngày càng tăng của ứng dụng AI song song với sự phát triển của các thực hành đánh giá vượt ra ngoài các chỉ số truyền thống.
Việc nghiên cứu về trí tuệ nhân tạo trong game như Super Mario Bros đặt ra những câu hỏi quan trọng về hiệu quả của các tiêu chí đánh giá, đề xuất cần phải có các chỉ số đánh giá mạnh mẽ hơn để đo lường khả năng áp dụng trong thế giới thực.