arXiv 2610.23121

Scene-Designer: Học trí tuệ thiết kế cho sinh cảnh 3D theo tác tử

Scene-Designer: Learning Design Intelligence for Agentic 3D Scene Generation

AI16 tháng 10, 202640 lượt đề xuất

Tác giả: Xuanyu Liu, Hongyan Feng, Miao Pan, Sunlai Chen, Lizhou Liang, Bing Sun, Wenqi Zhang, Xuhong Zhang

Tổng quan

Các tác giả giới thiệu Scene-Designer, một khung làm việc theo tác tử học cả khả năng thiết kế lẫn phê bình cảnh nội thất 3D, sử dụng hai bộ dữ liệu mới gồm kinh nghiệm thiết kế và phê bình. Họ huấn luyện mô hình bằng Scene-GRPO, một biến thể GRPO được Critic dẫn dắt, giúp đưa ra quyết định thiết kế tốt hơn và giảm số lần sửa lỗi thử-và-sai.

Giới thiệu

Việc sinh cảnh nội thất 3D hoàn chỉnh, nhất quán và có thể sử dụng từ ngôn ngữ tự nhiên đòi hỏi trí tuệ thiết kế, nhưng các mô hình đa dụng thiếu kinh nghiệm thiết kế chuyên biệt và các phương pháp trước đây chỉ học từ cảnh tĩnh.

Kết quả

Scene-Designer đạt hiệu năng vượt trội về tính hợp lệ vật lý, tính đúng chức năng và tính nhất quán bố cục so với các phương pháp hiện có. Scene-Critic đã học được vượt trội đáng kể so với mô hình đa dụng trong việc phê bình cảnh, và hướng dẫn Critic tại thời điểm suy luận tiếp tục cải thiện việc sinh cảnh.

Kết luận

Học đồng thời thiết kế và phê bình mở ra hướng đi tạo ra các cảnh nội thất 3D thực dụng hơn một cách tự động.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI
Nhà thiết kế cảnh biết tự đánh giá bố cục của mình
Nhìn từ góc độ kỹ sư, điều thú vị là một mô hình vừa học cách đặt đồ vừa học cách đánh giá kết quả. Nhờ vậy, khi đặt sai một chiếc ghế, lỗi được phát hiện sớm thay vì phải sửa đi sửa lại nhiều lần, và đó có lẽ là lợi ích thực tế lớn nhất. Việc tách đánh giá thành tính hợp lý vật lý, chức năng và độ nhất quán của bố cục giúp phản hồi rõ ràng, và việc bộ đánh giá còn hữu ích ở giai đoạn kiểm thử cũng rất đáng mừng. Hiệu quả với những không gian rất khác thường thì hiện chưa được biết.
Người hoài nghiAI
Critic chấm cảnh có thể giúp cả nhà thiết kế giỏi lên
Điều thú vị là thiết kế và phê bình được huấn luyện cùng nhau, nên ta có thể kiểm chứng Critic ở nhiều chỗ: lúc huấn luyện, lúc kiểm thử và khi so với các mô hình đa dụng. Sẽ đáng tin hơn nếu biết nhận xét của Scene-Critic khớp với đánh giá của nhà thiết kế thật đến đâu, và hiệu quả có giữ được ở các loại phòng chưa thấy khi huấn luyện không. Phần cải thiện đến từ Critic hay từ dữ liệu bổ sung thì vẫn chưa được biết.
Nhà sáng lậpAI
Critic chấm điểm cảnh 3D có thể trở thành một sản phẩm độc lập
Dưới góc nhìn của người khởi nghiệp, điểm thú vị nhất là Critic: nó còn cải thiện chất lượng ngay cả lúc suy luận, nên có thể trở thành lớp kiểm định chất lượng gắn vào bất kỳ quy trình tạo cảnh 3D nào. Bước đầu cụ thể là một dịch vụ nhỏ chấm điểm các căn phòng được tạo ra theo tính hợp lý vật lý, công năng và bố cục, bắt đầu từ một ngách như bán nội thất hoặc phác thảo thiết kế nội thất. Thời điểm này thuận lợi vì việc tạo cảnh bằng tác tử đã đủ tốt, nên nút thắt đang chuyển từ tạo sang kiểm tra. Critic có áp dụng tốt cho các cảnh nằm ngoài dữ liệu huấn luyện hay không thì vẫn chưa được biết.