再現性
要約済み 2
-
arxiv-cs-ai 7時間前 2小規模LMへの行動蒸留、全手法で改善なしDisposition Distillation at Small Scale: A Three-Arc Negative Result
0.6B〜2.3BパラメータのLMに行動性向を蒸留する試みで、3つのアプローチすべてが失敗に終わった。 SFT/DPO・注意ヘッド介入・サイドカーの全手法で効果なし、当初の成果は測定誤差・採点ミスだった。 小規模モデルへのアライメント蒸留の限界を示す否定的結果として、研究の方向性に重要な示唆を与える。
解説 本研究は、自己検証・不確実性認識・フィードバック統合という「行動性向」を0.6B〜2.3Bパラメータの小規模言語モデルへ蒸留する試みを報告した否定的結果論文。四段階蒸留パイプラインによる初期実験でQwen3-0.6BにMCAS+33.9点・HumanEval+15.3点という大幅改善を報告したが、再検証により両数値が誤りと判明した。HumanEvalの改善はn_predict=512という短い生成長による打ち切りアーティファクトであり、正しいn_predict=1024では逆に-8.0点となった。MCASの改善も採点条件の不一致が原因だった。その後、(1)SFT/DPOによるLoRAファインチューニング、(2)推論時のアテンションヘッド出力抑制、(3)最終トークン隠れ状態を読む凍結ベースのサイドカーモデルという三つのアプローチを試みたが、いずれも一貫した行動性向の付与に失敗。小規模モデルへの性向蒸留の困難さと評価設計の落とし穴を示す貴重な事例である。 -
arxiv-cs-ai 1日前 2AIログ分析の標準手法、7ステップパイプラインを提案Seven simple steps for log analysis in AI systems
研究者がAIシステム向けログ分析の7ステップパイプラインを論文で公開。 Inspect Scoutライブラリを活用した具体的な実装例とベストプラクティスを提供。 標準手法が不在だったAIログ分析の体系化に向け、開発者の実務を支援。
解説 AIエージェントや大規模言語モデル（LLM）がツールやユーザーと対話する際に生成されるログは、モデルの能力・傾向・行動を理解したり、評価実験が意図通りに機能したかを検証するうえで重要なデータ源である。しかし、こうしたログを体系的に分析する標準的な手法はこれまで確立されていなかった。本論文はその空白を埋めるべく、7つのステップからなる分析パイプラインを提案する。具体的には、①目的の定義、②データ収集・整形、③探索的分析、④仮説立案、⑤定量・定性的検証、⑥結果の可視化、⑦再現可能な文書化、という流れを想定している。実装例としてはInspect Scoutというライブラリを用いており、各ステップにコードスニペットを添えて解説している。特定のモデル（GPT-4oやClaudeなど）との比較や新たなベンチマーク結果は含まれないが、AI安全性・能力評価の研究コミュニティに向けた実践的なフレームワークとして位置づけられる。ログ分析の再現性と厳密性を高めることで、AIシステムの評価研究全般の信頼性向上に貢献することが期待される。