テキストから画像生成
要約済み 1
-
hf-papers 1日前 4研究者、統合マルチモーダルモデルの「擬似統合」を初めて内部診断Pseudo-Unification: Entropy Probing Reveals Divergent Information Patterns in Unified Multimodal Models
エントロピー探索フレームワークにより、統合マルチモーダルモデルが視覚と言語を真に融合できていない「擬似統合」状態にあることが判明した。 調査対象モデルの中でMasked Autoencoderを活用するHarmonのみが真の統合に近い動作を示し、共通の文脈予測パラダイムが鍵と示唆された。 画像とテキストを扱うAIモデルの設計指針に再考を促す可能性があり、マルチモーダル研究の方向性に影響を与えそうだ。
解説 本論文はBAGEL、Janus-Pro、Show-o2、OmniGen2など10種類の代表的な統合マルチモーダルモデル(UMM)を対象に、「擬似統合（Pseudo-Unification）」という現象を初めてモデル内部から解析した研究である。UMMはテキスト生成と画像生成を一つのモデルで担うが、LLMが持つ推論能力が画像生成に転移しないという問題があった。 提案手法は情報理論に基づく2階層の探索フレームワークで、(1)プロンプト表現のエントロピー（入力の情報量・等方性を測定）と、(2)プロンプト-応答間の条件付きエントロピー（出力の不確実性を測定）を使用する。Transformerは明示的な確率分布を持たないため、Gaussian kernelを用いた行列ベースのRényiエントロピーに再定式化することで非パラメトリックな推定を実現している。 実験の結果、擬似統合は「モダリティ非対称エンコーディング」（視覚と言語が異なるエントロピー軌跡を辿る）と「パターン分離応答」（テキスト生成は高エントロピー＝創造的、画像生成は低エントロピー＝忠実性優先）という二重の乖離から生じることが判明した。唯一の例外がHarmon（1.5B）であり、Masked Autoencoderによる画像予測がテキストの次トークン予測と同じ帰納バイアス（文脈予測）を共有することで真の統合に近づいていることを示した。モデルの規模拡大だけでは解決せず、生成パラダイムの統一設計が重要という知見は、今後のUMM設計指針として実用的意義が高い。