arXiv 2610.28402
StreamEval：インタラクティブなストリーミング動画生成モデルの評価
StreamEval: Evaluating Interactive Streaming Video Generation Models
AI推薦330
著者: StreamEval Team
概要
本研究は、インタラクティブなストリーミング動画生成のための統一ベンチマーク StreamEval を提案します。アバター対話、アバターパフォーマンス、ワールド生成、指示編集、参照編集の5つのタスクにまたがる300件のスクリプト化されたテストケースを含み、4つの評価次元にわたる10のタスク固有指標で採点します。
はじめに
ストリーミング動画生成の進歩に伴い、生成動画とのリアルタイムなインタラクションが重要になっていますが、それを統一的に評価する方法はありません。既存の評価では、逐次到着するマルチモーダル要求や、状態および内容の保持要件を十分に扱えていません。
結果
要求の実行が依然として最大のボトルネックです。タスク別の最高スコアは、アバターパフォーマンス（7モデル中）のFollowingで36.90、テキスト条件付きワールド生成のFollowingで25.93にとどまります。視覚品質の高さや同一性の保持は、要求の確実な実行や状態の一貫性の維持に必ずしもつながりません。
結論
時間的・保持的制約のもとで要求を確実に実行することは、オムニモーダルなリアルタイム対話システムを前進させるための中心的な課題です。