大規模推論モデル
要約済み 1
-
hf-papers 10時間前 4推論の無駄を削減、新学習法で大規模モデル性能を90%に改善Cut Your Losses! Learning to Prune Paths Early for Efficient Parallel Reasoning
パス枝刈りの体系的分類と学習可能な手法STOPが提案された。 並列推論で無駄な経路の早期終了を可能にし、AIME25でGPT-OSS-20Bの精度を84%から90%に改善。 大規模推論モデルの計算効率化に向けた実用的アプローチが実証され、実運用での導入可能性が高まった。
解説 大規模推論モデル（LRM）は複数の推論経路を並列に探索することで精度を向上させるが、途中で誤りを含む無駄な経路（futile path）が大量の計算資源を消費するという構造的問題を抱える。本論文はこの課題に対し、パス枝刈り（Path Pruning）手法を初めて体系的に整理する分類体系を提案する。分類軸は「信号源（内部 vs 外部）」と「学習可能性（学習可能 vs 非学習可能）」の2軸で、既存研究の網羅的分析から学習可能な内部手法が未開拓領域であることを明示した。これを受けて提案されたSTOP（Super TOken for Pruning）は、特殊トークンを用いて推論経路のプレフィックス（接頭部）段階で自律的に枝刈りを実行する学習可能手法である。1.5Bから20BパラメータのLRM群での評価では、既存ベースラインを効果性・効率性の両面で上回り、GPT-OSS-20BのAIME25ベンチマークで固定計算予算下に精度を84%から約90%へ引き上げた。さらに計算予算を変えたスケーラビリティ検証を実施し、実世界での最適デプロイ指針を実証的ガイドラインとして提供している点も実用価値が高い。