arXiv 2610.28698
Mở rộng quy mô trong trò chơi: Tiền huấn luyện tiếp tục cho tác nhân nhúng trong các thế giới ảo đa dạng
Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds
AI46 lượt đề xuất
Tác giả: Kuan Zhang, Yukun Chen, Zhihao Yang, Yue Su, Xiangnan Wu, Zirong Chen, Run Luo, Jinkun Hou +3
Tổng quan
Nghiên cứu thực hiện một khảo sát có kiểm soát về tiền huấn luyện tiếp tục (CPT) cho tác nhân nhúng trong trò chơi, thay đổi lượng dữ liệu, mức đa dạng dữ liệu và kích thước mô hình qua 120 cấu hình. Các tác giả đánh giá bằng mất mát kiểm định ở ba cấp và bằng các bài kiểm tra chơi game, từ các thế giới đã thấy đến thế giới chưa thấy, rồi suy ra một định luật mở rộng thực nghiệm.
Giới thiệu
Việc tăng dữ liệu, độ đa dạng và dung lượng mô hình đã cải thiện học tập nhúng trong môi trường vật lý, nhưng chưa rõ điều này có áp dụng cho các thế giới ảo khác nhau về phong cách hình ảnh, động lực học, cách điều khiển và mục tiêu hay không.
Kết quả
Tính đa dạng giúp chuyển giao sang các thế giới liên quan nhưng hiệu quả hạn chế với thế giới khác biệt xa, và các mô hình cạnh tranh được với chuyên gia Minecraft cùng các mô hình tiên tiến trong thế giới 3D, đạt kết quả tốt nhất trong các thiết lập thời gian thực. Quá trình huấn luyện chuyển từ giai đoạn giao diện, nơi lợi ích lan rộng qua nhiều thế giới, sang giai đoạn thế giới, nơi lợi ích thu hẹp vào các thế giới đã học và liên quan.
Kết luận
CPT riêng lẻ vẫn để lại khoảng cách lớn ở các thế giới xa, nên xây dựng tác nhân nhúng đa năng có thể cần các giai đoạn huấn luyện phong phú hơn ngoài CPT.