生成AI透明性
要約済み 1
-
arxiv-cs-ai 3日前 3マルチモーダルLLMの出力根拠をリアルタイム追跡する新手法OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs
研究者らがマルチモーダルLLMの生成時帰属フレームワーク「OmniTrace」を発表。 テキスト・画像・音声・動画の各入力に対し、出力のどの部分がどの入力に依存するかを注意重みと勾配スコアで可視化。 LLMのブラックボックス問題に切り込む手法として、AI説明可能性研究や実運用への応用が期待される。
解説 OmniTraceは、テキスト・画像・音声・動画を組み合わせた入力を受け取るマルチモーダルLLMが生成する各文や節（スパン）について、「どの入力ソースに基づいているか」をデコード中にリアルタイムで特定するフレームワークである。従来の帰属手法は分類タスクや単一モダリティ向けが多く、GPT-4oやGeminiのような自己回帰型デコーダーモデルに直接適用できなかった。OmniTraceはモデル非依存の軽量設計で、アテンション重みや勾配ベーススコアなど任意のトークン単位シグナルをプラグイン入力として受け取り、意味的に意味のあるスパン単位の説明に集約する統一プロトコルを提供する。後処理ではなく生成時（generation-time）に帰属を計算する点が特徴で、長文生成においても各段階で入力との対応関係を維持できる。実用上は、RAGシステムでの引用根拠の提示、医療・法律分野での出力の信頼性検証、マルチモーダルAIのデバッグ用途などへの応用が期待される。既存のBlackboxモデルに対してもAPIレベルで適用可能な設計が評価ポイントとなる。