Stability AI、「Stable Video 4D 2.0」を発表 ～動画をもとに別アングルの動画を生成

Stability AI、「Stable Video 4D 2.0」を発表

　英Stability AIは5月21日、「Stable Video 4D 2.0」（SV4D 2.0）を発表した。昨年リリースされた「Stable Video 4D」の後継モデルで、高品質な出力を実現しているという。

　「Stable Video 4D」は、アップロードした動画をもとに異なるアングルの動画を複数（マルチビュー）生成できる「video-to-video」生成モデル。「SV4D 2.0」では、以下のアップグレードが行われているという。

• よりシャープでコヒーレントな4D出力：静的な3Dアセットから段階的にモデルを学習させてからモーションを追加することで、より鮮明で一貫性のある4D結果が得られる
• 参照ビューが不要に：1つの動画から直接生成。事前にマルチビューの参照画像を用意する必要はない
• 再設計されたネットワークアーキテクチャー：3Dの空間的特徴と時間的特徴を融合するメカニズムである3Dアテンションを利用することで、参照ビューがなくても時空間の一貫性を向上させることに成功
• 実世界での汎用性の向上： 合成データで訓練されたモデルでありながら、事前に訓練されたビデオモデルから得た世界の知識を保持しており、リアルワールドの動画でもより一貫したパフォーマンスを発揮

　ベンチマークテストでも良好な結果を残しており、すべての主要なベンチマークで1位を獲得している。

すべての主要なベンチマークで1位を獲得

　「Stable Video 4D 2.0」は「Stability AI Community License」に基づき、商用・非商用を問わず無料で利用可能。マルチビュー生成モデルは「Hugging Face」などからダウンロードできる。ソースコードは「GitHub」から入手可能。