新興エンティティ認識
要約済み 1
-
hf-papers 3日前 3新フレームワークROSE、未知エンティティのセグメンテーション精度を向上ROSE: Retrieval-Oriented Segmentation Enhancement
リアルタイムWeb検索を活用するプラグアンドプレイ型セグメンテーションフレームワーク「ROSE」が発表された。 テキスト・画像の双方向プロンプト強化と検索起動判断モジュールを組み合わせ、新規エンティティにも対応。 既存のMLLMベースモデルに容易に組み込め、動的な知識更新が必要な実用シーンへの応用が期待される。
解説 本論文はMLLMベースのセグメンテーションモデル（LISAなど）が抱える根本的な課題、すなわちトレーニングデータに存在しない「新規エンティティ」や最新情報が必要な「新興エンティティ」を正確にセグメントできない問題を取り上げる。これを解決するため、まずNEST（Novel Emerging Segmentation Task）という新タスクと評価ベンチマークを定義し、ニュース記事に基づく自動パイプラインでデータを構築している。提案手法ROSEは4モジュールで構成される。①Internet RAGモジュールがユーザー入力を元にリアルタイムWeb情報を取得、②Textual Prompt Enhancerが最新情報と背景知識でテキストプロンプトを拡充、③Visual Prompt Enhancerがインターネット画像を活用して視覚情報の不足を補い、④WebSenseモジュールが検索が本当に必要な場合のみ起動することで推論コストを抑制する。plug-and-play設計により既存のMLLMベースのセグメンテーションモデルに後付けで組み込める点が実用上の最大の強みである。GPT-4oやGeminiなどの最先端モデルと比較してもNESTベンチマーク上で優位な性能を示しており、特に時事的な人物・製品・イベントのセグメンテーションにおいて有効性を確認している。リアルタイム性が求められる実世界応用（ニュース解析、監視システム等）への展開が期待される。