帰属性
要約済み 1
-
arxiv-cs-ai 2日前 3マルチモーダルLLMの出力根拠を統一的に可視化するフレームワーク登場OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs
テキスト・画像・音声・動画を扱うマルチモーダルLLMの生成根拠を特定するフレームワーク「OmniTrace」が発表された。 因果デコード追跡と注意重み・勾配スコアを活用し、モデル非依存かつ軽量な設計を実現。 LLMの説明可能性・信頼性向上に貢献し、マルチモーダルAI研究の新標準となる可能性がある。
解説 OmniTraceは、GPT-4oやGeminiのようなマルチモーダルLLMが「なぜその回答を生成したのか」を入力ソースレベルで明らかにするための軽量フレームワークである。従来の帰属手法は分類タスクや単一モダリティを前提としており、テキスト・画像・音声・動画が混在する自己回帰型デコーダには適用が難しかった。OmniTraceはこの課題を「生成時トレーシング問題」として定式化し、デコード中の各トークン生成ステップで注意重み（Attention Weights）や勾配ベーススコアといったトークンレベルのシグナルを収集する。それらを意味のあるスパン（文・節など）単位に集約し、どのモダリティのどの部分が根拠になったかをリアルタイムで説明する統一プロトコルを提供する。モデルの内部構造に依存しないため、任意のデコーダ専用モデルに適用できる点が強みである。実験では既存の帰属ベースラインと比較して、クロスモーダルな説明の精度と一貫性が向上することが示されており、RAGシステムの監査、フェイク情報の検出、医療AI等の高信頼性が求められる分野での活用が期待される。