OOD検知
要約済み 1
-
arxiv-cs-ai 2日前 2未知テキストを自動棄却する分類手法が登場Uncertainty Estimation for the Open-Set Text Classification systems
オープンセットテキスト分類向けの不確実性推定フレームワークが新たに提案された。 テキスト固有の曖昧さと分布的な曖昧さを区別する2種類の不確実性を統合推定する設計。 著者帰属・意図分類など3種のベンチマークで有効性を実証し、未知クラス検出の精度向上に貢献。
解説 本論文は、テキスト分類システムが「知らないことを知る」能力を強化するための研究である。オープンセットテキスト分類（OSTC）とは、入力テキストを既知クラスに分類するか、学習時に存在しなかった未知クラスとして棄却する問題設定を指す。既存の分類モデルは閉じた世界を前提とするため、未知入力に対して誤って高い確信度で予測してしまう問題がある。 提案手法「HolUE（Holistic Uncertainty Estimation）」をテキストドメインに適応させた点が核心で、不確実性を2種類に分解する。①テキスト不確実性：クエリ文の表現が曖昧・不完全であることに起因し、同じ意味でも異なる表現が混在する場合に増大する。②ギャラリー不確実性：学習データの分布が曖昧で、クラス境界が不明瞭な場合に増大する。これら2つを組み合わせることで予測誤りを事前に検知できる。 実験では著者帰属・対話意図分類・トピック分類という多様なタスクを対象に新ベンチマークを構築し評価。GPT-4oやClaude等の大規模LLMとの直接比較は示されていないが、既存のOOD（分布外）検知手法に対して改善を示している。実用面では、チャットボットやカスタマーサポートシステムで未知の質問を適切に棄却する信頼性向上に貢献する。ただし、特定の分類タスク向けの手法であり、汎用LLMへの直接応用には追加の工夫が必要。