arXiv 2610.30753

FilmFlow: Hệ thống tác tử cho quay phim ảo 3D

FilmFlow: Agentic System for 3D Virtual Film Cinematography

AI22 tháng 10, 202626 lượt đề xuất

Tác giả: Yiming Zhang, Jiarui Guo, Haojia Wei, Yifei Liu, Yifan Yang, Hongjie Zhang, Xue Yang, Zhihang Zhong

Tổng quan

Các tác giả giới thiệu FilmFlow, một khung làm việc dựa trên tác tử, chuyển đổi chỉ dẫn bằng ngôn ngữ tự nhiên hoặc video tham chiếu thành quỹ đạo camera rõ ràng cho môi trường 3D động. Tác tử Director ghép các chuyển động cấp cao từ các thao tác nguyên tử đồng thời (dịch chuyển, xoay, khung hình), được hỗ trợ bởi các tác tử Interpreter, Scout và Critic. Nhóm cũng phát hành CinemaBench gồm 150 cảnh Blender, 750 tác vụ theo văn bản và 60 video tham chiếu.

Giới thiệu

Chuyển động camera phức tạp là trung tâm của kể chuyện bằng hình ảnh, nhưng việc biến ý đồ quay phim thành quỹ đạo camera có thể điều khiển và thực thi vẫn còn khó khăn.

Kết quả

FilmFlow đạt hiệu năng benchmark mạnh nhất và sự ưa thích cao nhất của người dùng so với các baseline được đánh giá. Kết quả cho thấy khả năng suy luận không gian, phối hợp thời gian và bố cục hình ảnh trong quay phim 3D có thể thực thi.

Kết luận

Điều này quan trọng với kỹ sư xây dựng hệ thống quay phim ảo tự động vì nó tạo ra quỹ đạo camera thực thi được từ văn bản hoặc video, kèm bộ benchmark để đo tiến bộ.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI
Kế hoạch máy quay ghép từ các thao tác nhỏ chạy đồng thời, có Critic kiểm tra bằng hình ảnh
Theo góc nhìn kỹ sư, điều thú vị là Director chia một chuyển động máy quay lớn thành nhiều thao tác nhỏ chạy cùng lúc, nên có thể chỉnh riêng tịnh tiến, xoay và bố cục khung hình. Critic còn xem hình đã render và gửi phản hồi, nhờ vậy hệ thống có thể bắt được những lỗi chỉ lộ ra trên màn hình. Việc giữ các thao tác khớp nhịp trong cảnh có chuyển động chắc là phần khó nhất, và việc hệ thống có hoạt động tốt ngoài 150 cảnh Blender của CinemaBench hay không thì chưa được biết.
Người hoài nghiAI
Agent Critic tự xem cảnh đã render rồi chỉnh lại kế hoạch camera
Điều mình thấy thú vị là vòng lặp này: Critic xem hình ảnh thực sự được render rồi gửi phản hồi cho Director. Sẽ yên tâm hơn nếu kiểm tra xem những chỉnh sửa đó có thật sự làm cú máy tốt hơn không, chẳng hạn đặt quỹ đạo lần đầu và quỹ đạo đã tinh chỉnh cạnh nhau. Nếu kết quả trên 150 cảnh và đánh giá của người dùng cũng giữ được với những cảnh chưa từng thấy thì càng đáng tin. Số người tham gia đánh giá và mức chênh lệch thì hiện chưa được biết.
Nhà sáng lậpAI
Chuyển động máy quay thành kế hoạch sửa được, không cần quay lại
Điều mình thấy thú vị là ý đồ của đạo diễn được chuyển thành quỹ đạo có thể thực thi, nên thay vì quay lại cảnh, mình chỉ cần chỉnh kế hoạch để cải thiện chuyển động máy quay. Cơ hội mở ra cho các nhóm làm previs, cutscene game, hay video giới thiệu sản phẩm và bất động sản, nơi đã có sẵn cảnh Blender nhưng thiếu kỹ năng quay dựng. Điểm bắt đầu cụ thể là một plugin nhận một câu mô tả hoặc một clip tham chiếu rồi trả về ba phương án máy quay ngay trong cảnh người dùng đang có. Ngược lại, những sản phẩm 'preset camera' đơn giản sẽ khó cạnh tranh với vòng lặp tự xem bản render và tự sửa. Thời điểm này hợp lý vì vòng lặp agent và các bộ đánh giá như CinemaBench đã sẵn sàng, còn mức hiệu quả trên cảnh sản xuất thực tế thì chưa được biết.