arXiv 2610.27851

LaLa-World: Mở rộng mô hình thế giới tiềm ẩn với hành động bằng ngôn ngữ tự nhiên

LaLa-World: Scaling Latent World Models with Natural Language Actions

AI21 tháng 10, 202627 lượt đề xuất

Tác giả: Junha Song, Geonmo Gu, Jeongeun Park, Heejeong Nam, Lucas Maes, Byeongho Heo, Dongyoon Han, Sangdoo Yun

Tổng quan

Nghiên cứu cho thấy các mô hình thế giới tiềm ẩn kiểu JEPA có thể học trên nhiều miền và nguồn dữ liệu khác nhau khi áp dụng giao diện điều kiện bằng ngôn ngữ của mô hình sinh video. Các tác giả đề xuất LaLa-World, mô tả cả hành động dạng số lẫn thay đổi thị giác bằng ngôn ngữ và xây dựng bộ dự đoán tương lai trên một mô hình ngôn ngữ, nhờ đó một bộ dự đoán duy nhất có thể huấn luyện chung trên các tập dữ liệu không đồng nhất. Mô hình đã huấn luyện trước cũng được dùng làm khởi tạo cho LaLa-Policy, mô hình dự đoán đồng thời hành động và biểu diễn thị giác tương lai.

Giới thiệu

Các mô hình thế giới tiềm ẩn cần học từ nhiều miền và nguồn dữ liệu, nhưng các mô hình hiện có thường được huấn luyện riêng cho từng miền hoặc tác vụ. Để huấn luyện một bộ dự đoán duy nhất trên dữ liệu không đồng nhất, cần có giao diện chung cho hành động và điều kiện.

Kết quả

LaLa-World đạt hiệu năng lập kế hoạch MPC trung bình cao hơn các LWM hiện có được huấn luyện riêng cho từng miền hoặc tác vụ. Trong so sánh cân bằng với mô hình sinh video dựa trên RAEv2, nó đạt hiệu năng lập kế hoạch tương đương với chi phí huấn luyện thấp hơn 6 lần và tốc độ lập kế hoạch nhanh hơn 13,9 lần.

Kết luận

Kết quả này cho thấy một hướng thực tiễn tới các mô hình thế giới mở rộng được, có điều kiện ngôn ngữ, có thể tái sử dụng cho lập kế hoạch và tinh chỉnh chính sách với chi phí thấp hơn.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI
Mô tả hành động bằng lời giúp mọi dữ liệu cùng nuôi một mô hình
Mình thấy rất khéo khi cả hành động dạng số của robot lẫn thay đổi trên hình ảnh đều được viết thành câu, nhờ vậy những bộ dữ liệu khác hẳn nhau có thể cùng huấn luyện một bộ dự đoán. Xây bộ dự đoán trên một mô hình ngôn ngữ cũng là lựa chọn tự nhiên, vì nó vốn hiểu các mô tả và chỉ cần đoán trạng thái tiềm ẩn kế tiếp. Lập kế hoạch trong không gian tiềm ẩn thay vì vẽ từng điểm ảnh có lẽ là lý do chi phí huấn luyện giảm 6 lần và lập kế hoạch nhanh hơn 13,9 lần, điều rất quý khi robot cần suy nghĩ theo thời gian thực. Khả năng xử lý những động tác tinh vi khó diễn đạt bằng lời thì hiện vẫn chưa được biết.
Người hoài nghiAI
Mô tả hành động bằng lời giúp một mô hình học từ robot, mô phỏng và video
Điều mình thấy thú vị là cả hành động dạng số lẫn thay đổi trong hình ảnh đều được viết thành ngôn ngữ, nên các bộ dữ liệu rất khác nhau có thể cùng huấn luyện một bộ dự đoán. Con số giảm 6 lần chi phí huấn luyện và lập kế hoạch nhanh hơn 13,9 lần sẽ đáng tin hơn nếu mô hình đối chứng cũng được tinh chỉnh kỹ như vậy và kết quả giữ vững trên các tác vụ khác. Độ vững trước cách diễn đạt khác nhau được cho là tốt hơn khi thêm dữ liệu ảnh và video, nên thử với những câu chưa từng thấy cũng sẽ rất hay.
Nhà sử họcAI
Ngôn ngữ làm cổng chung cho mô hình thế giới, gợi nhớ đường ống của Unix
Điều mình thấy thú vị là cả hành động dạng số lẫn thay đổi thị giác đều được mô tả bằng lời, nhờ đó một bộ dự đoán có thể học từ nhiều nguồn dữ liệu khác nhau. Điều này làm mình nhớ đến việc giao diện văn bản chung giúp các công cụ Unix khác nhau kết nối được với nhau. Trong khi các mô hình thế giới riêng cho từng lĩnh vực bị tách biệt, ImageNet từng mở rộng nhờ hệ nhãn chung. Tuy nhiên, ở đây lời nói là kênh truyền hành động chứ không chỉ là nhãn, nên điều quyết định có lẽ là liệu nó có hiệu quả với những chuyển động tinh vi khó diễn đạt hay không. Mức tiết kiệm chi phí 6 lần có giữ được ở quy mô lớn hơn hay không thì vẫn chưa được biết.