意図分類
要約済み 1
-
hf-papers 1時間前 3LLM呼び出しを軽量MLで代替、最大100%削減を実現TRACER: Trace-Based Adaptive Cost-Efficient Routing for LLM Classification
研究者らがLLMの出力ログを活用し、安価なMLモデルへ段階的に置き換えるTRACERを発表。 品質を保つパリティゲート機構により、77クラスで完全代替・150クラスでも高い代替率を達成。 APIコストを大幅削減できるため、LLMを活用する企業の運用効率化に直結する成果。
解説 TRACERは、LLMを分類器として本番運用する際のAPIコスト削減を目的としたオープンソースシステムである。LLM（本論文ではClaude Sonnet 4.6）が分類を行うたびに生成される入出力ペア（トレース）を無償の訓練データとして活用し、ロジスティック回帰・ランダムフォレスト・MLPなどの軽量サロゲートモデルを学習する。推論時は各入力の信頼度をアクセプターモデル（ロジスティック回帰）で判定し、信頼度が高ければサロゲートが応答、低ければLLMに委譲する「Learning to Defer（L2D）」構成を採用。デプロイ前にはパリティゲートと呼ばれる品質チェックを通過した場合のみ本番稼働させる安全機構を備える。データが蓄積されるほどサロゲートの対応領域が拡大するフライホイール（自己強化サイクル）も実装されている。実験ではBanking77（77クラス意図分類）でα=0.95時に83%カバレッジ・83%コスト削減、CLINC150（150クラス）では全αで100%カバレッジを達成しLLMを完全代替した。一方MNLIの自然言語推論タスクでは埋め込み表現で分類境界が学習できないと判断しパリティゲートが正しくデプロイを拒否、安全性が実証された。説明可能性アーティファクト（スライスサマリー・境界ペア・時系列デルタ等）によりルーティング境界の透明性も確保している。