マルチターン
要約済み 1
-
arxiv-cs-ai 2日前 3研究者ら、LLM対話の整合性をリアルタイム監視する新指標を提案Bi-Predictability: A Real-Time Signal for Monitoring LLM Interaction Integrity
情報理論に基づく「双方向予測可能性（P）」指標でLLMの多ターン対話品質をリアルタイム監視する手法が発表された。 トークン頻度統計から算出するPは文脈と応答の構造的結合を測定し、軽量IDTアーキテクチャで既存手法より低コストに実装可能。 LLMの継続的品質保証に新たな選択肢をもたらし、本番運用の安定性向上に貢献が期待される。
解説 本論文は、LLMの多ターン対話における整合性をリアルタイムで監視する「双方向予測可能性（Bi-predictability, P）」を提案する。Pはトークン頻度統計から直接計算される情報理論的指標で、文脈が応答を予測できるか（順方向）と、応答が文脈を予測できるか（逆方向）の両方を測定し、対話の構造的結合度を定量化する。既存手法—パープレキシティは一方向のみ、セマンティックエントロピーは大計算コスト、意味的判定器は事後処理—の限界を克服し、「Information Digital Twin（IDT）」という軽量アーキテクチャでリアルタイム推定を実現する。IDTは文脈・応答・次ターンにまたがるPを継続的に推定し、対話品質の劣化を早期検出できる。GPT-4oやClaudeなど主要モデルとの比較実験では、Pの変化が意味的一貫性の低下と高相関を示し、プロンプトインジェクションや対話逸脱を低遅延で検知可能であることが実証された。医療・法務などの高リスク自律エージェント用途での信頼性保証に直結する実用的価値が高い。