要約
研究者らがLLMを用いてML論文の方法論的欠陥を自動検出できるか検証した。 6種類のLLMがジェスチャー認識論文の被験者レベルのデータ漏洩を正確に特定。 査読・再現性検証の自動化に向けた有力なアプローチとして注目される。
LLM、論文のデータ漏洩を自動検出——6モデルが一致した診断
Can Large Language Models Detect Methodological Flaws? Evidence from Gesture Recognition for UAV-Based Rescue Operation Based on Deep Learning
原文を読む →
https://arxiv.org/abs/2604.14161
本研究は、LLMが査読者として機能し、発表済み論文の方法論的欠陥を独立して発見できるかを検証したものである。対象の事例論文はUAV（無人航空機）を用いた救助活動向けのジェスチャー認識システムで、小規模な被験者データセットでほぼ完璧な精度を報告していた。しかし著者らはその評価プロトコルが「被験者レベルのデータリーク」を内包していると指摘する。これは、同一人物のデータが訓練セットとテストセットの両方に含まれている状態であり、モデルが人物の動きの癖を記憶することで見かけ上の高精度が生まれる評価上の欠陥（評価汚染）である。この欠陥を検出する実験では、GPT-4oやClaudeなど6種類の最先端LLMそれぞれに事前情報なしで同一プロンプトを与え、論文を解析させた。結果として全6モデルが評価プロトコルを「欠陥あり」と判断し、データ分割の非独立性が原因であると指摘した。これはLLMが独立した分析エージェントとして研究の再現性や妥当性を審査する可能性を示す知見であり、査読支援ツールや研究品質保証プロセスへの応用が期待される。