論理推論
要約済み 1
-
arxiv-cs-ai 3日前 4LLMは推論正確でも誤答、新研究が論理乖離を実証Correct Chains, Wrong Answers: Dissociating Reasoning from Output in LLM Logic
研究者らがLLMの連鎖思考推論と最終回答の間に生じる「推論-出力乖離」を体系的に実証した。 新ベンチマーク「Novel Operator Test」でパターン検索と真の推論を峻別、Claude Sonnet 4で深度7の全エラーが乖離パターンと判明。 LLMの回答を推論チェーンで検証する手法の限界を示し、AI信頼性評価の見直しを迫る知見として注目される。
解説 本論文は、LLMのChain-of-Thought（連鎖思考）推論において「推論過程が正しくても最終回答が誤る」という根本的な乖離現象を実証する。提案するNovel Operator Testは、ブール演算子（AND/OR/XOR等）を「Klon」「Zeph」などの架空の名前で提示することで、モデルが演算子名からパターン検索（記憶引き出し）を行うのか、真に論理を実行しているのかを分離する設計。5モデルに対して深度1〜10、最大8,100問を評価した結果、2種類の失敗パターンが判明した。①戦略的失敗（深度2）：簡潔な回答を試みパターン検索に失敗するが、足場構造（Scaffolding）を与えると62ポイント改善する。②内容的失敗（深度7）：推論ステップは完全に正しいが宣言回答が系統的に誤る。介入後は300問中エラーゼロになることから、推論能力自体は存在するが出力生成段階で切断が起きることが示される。また「Trojan演算子」（既知演算子の真理値表を持つ架空名）を用いた実験で、既存ベンチマークでは検出不能なこの乖離が確認された。LLM推論の信頼性評価と出力生成プロセス設計に重要な示唆を与える。