Novel View Synthesis
要約済み 2
-
hf-papers 5時間前 5NVIDIA、単一画像から探索可能3D世界を生成するLyra 2.0を発表Lyra 2.0: Explorable Generative 3D Worlds
NVIDIAが1枚の画像から大規模な探索可能3Dシーンを生成するフレームワーク「Lyra 2.0」を公開した。 空間的忘却と時間的ドリフトを解消する2つの新機構により、一貫性の高い3D空間生成を実現。 生成結果を3DGSやメッシュに変換できロボットシミュレーションや仮想環境構築への応用が期待される。
解説 Lyra 2.0はNVIDIAが提案する、1枚の画像から大規模な探索可能3D世界を生成するフレームワーク。従来の自己回帰的な動画生成が抱える2つの根本課題に対処する。①空間的忘却（Spatial Forgetting）：カメラが移動してコンテキスト窓外に出た領域を再訪した際に不整合が生じる問題を、フレームごとの3Dキャッシュを用いた幾何学的検索と正準座標ワーピングによる密対応付けで解決。RGB画像ではなく正準座標を与えることで生成モデルの外観合成能力を損なわない設計が特徴。②時間的ドリフト（Temporal Drifting）：自己回帰生成で誤差が累積する問題を、訓練時に自モデルの劣化出力を条件付けに使う自己拡張（Self-Augmentation）で解決。実験ではGEN3C・CaM・VMem・SPMem・Yume-1.5・HY-WorldPlayと比較し、DL3DV・Tanks-and-Temples両データセットでSSIM・LPIPS・FID・主観品質・スタイル一貫性・カメラ制御精度のほぼ全指標で最高性能を達成。さらにDMD蒸留により推論を35ステップから4ステップに圧縮し約13倍の高速化も実現。生成された3DシーンはNVIDIA Isaac Simに直接インポートでき、ロボットナビゲーション等の体現AIへの実用性も示している。 -
stability-blog 11ヶ月前 4Stability AI、SV4D 2.0公開——単一動画から4D生成が進化Stable Video 4D 2.0: New Upgrades for High-Fidelity Novel-Views and 4D Generation from a Single Video
Stability AIが単一動画から高品質なNovel View合成と4Dコンテンツ生成を行うSV4D 2.0を正式発表。 前バージョン比で映像の忠実度・時間的一貫性が大幅に向上し、より自然な3D動画生成を実現。 ゲーム・映像制作・XR分野での活用が広がると期待され、生成AI映像技術の新たな水準を示す。
解説 Stability AIが「Stable Video 4D 2.0（SV4D 2.0）」を発表した。SV4Dは単一の入力動画から、異なる視点（Novel View）の映像と時間軸を含む4次元コンテンツ（3D空間＋時間）を生成するモデルである。2.0では特に高忠実度（High-Fidelity）な出力品質と、フレーム間の時間的整合性（Temporal Consistency）が強化されており、生成された各視点映像がより自然でアーティファクト（不自然な歪みや乱れ）の少ない仕上がりになっている。Novel View Synthesis（新規視点合成）とは、ある角度から撮影した映像をもとに、撮影していない別角度の映像をAIが推定・生成する技術で、従来は静止画での研究が主流だったが、動画への応用が急速に進んでいる。4D生成は3Dオブジェクトの動きまで含めて再現できるため、ゲームアセット作成、映画のVFX、AR/VR向けコンテンツ制作などで大きな労力削減が見込まれる。前世代のSV4Dと比べ品質・速度ともに改善されており、クリエイターや3Dコンテンツ開発者にとって実用的な選択肢となりつつある。