Self-supervised Learning
要約済み 1
-
hf-papers 2日前 33D再構成モデルが自己進化でSOTA精度を更新Free Geometry: Refining 3D Reconstruction from Longer Versions of Itself
フィードフォワード型3D再構成モデルのテスト時自己改善フレームワーク「Free Geometry」が発表された。 フレームマスクによる自己教師あり学習と軽量LoRA更新を組み合わせ、追加データなしで高速適応を実現。 カメラ姿勢精度3.73%・点マップ予測2.88%の改善を達成し、3D生成AIの精度向上に貢献する。
解説 フィードフォワード型3D再構成モデルは推論効率が高い一方、ゼロショット推論を前提とするためテスト時にシーン固有の特性へ適応できず、遮蔽・鏡面反射・曖昧な入力で誤差が生じやすい。Free Geometryはこの問題を、追加の3Dグラウンドトゥルースを必要とせずテスト時にモデルを自己改善できるフレームワークで解決する。提案の核心は「入力ビュー数が増えるほど再構成の信頼性が上がる」という観察で、テストシーケンスの一部フレームをマスクして自己教師ありタスクを構築。フルシーケンスとマスク済みシーケンス間でクロスビュー特徴一貫性を保つ損失と、欠落フレームが示す幾何学的ペア関係を維持する損失を組み合わせ、軽量なLoRAで1GPU・2分以内に高速適応する。VGGTおよびDepth Anything 3といったSOTA基盤モデルに適用し、4つのベンチマークでカメラ姿勢精度を平均3.73%、点マップ予測精度を2.88%改善。追加の3Dアノテーションなしにプラグアンドプレイで既存モデルへ組み込める汎用性の高さが実用上の強みである。