勾配干渉
要約済み 1
-
arxiv-cs-ai 5時間前 3勾配エンタングル問題を解消する新手法EAGCが登場The Devil Is in Gradient Entanglement: Energy-Aware Gradient Coordinator for Robust Generalized Category Discovery
未知クラスを含むデータ分類タスク（GCD）で、最適化の競合「勾配エンタングルメント」を定量分析し解決策を提案。 アンカーモデルによる勾配整合とエネルギー認識弾性射影の2モジュール構成で、既知・未知クラスを同時改善。 既存手法を複数ベンチマークで上回る性能を達成し、プラグイン型で既存モデルへの統合も容易。
解説 一般化カテゴリ発見（GCD）は、ラベル付きデータを活用しながら、既知クラスと未知クラスの両方を含む未ラベルデータを分類するタスクである。多くの手法が教師あり損失と教師なし損失を同時最適化するが、本研究はその際に生じる「勾配エンタングルメント」（gradient entanglement）という問題を定量的に特定した点が新しい。具体的には、(1) 教師なし勾配が教師あり勾配を歪め、既知クラスの識別性が低下する、(2) 既知クラスと新規クラスの表現部分空間が重なり、新規クラスの分離性が悪化する、という2つの悪影響が示される。提案手法EAGCはこれを解消するプラグイン型モジュールで、アンカーモデルで基準勾配方向を固定するAGA（Anchor-based Gradient Alignment）と、クラス間エネルギー配分に応じて勾配を射影調整するEEP（Energy-aware Elastic Projection）から構成される。既存のGCDフレームワークに追加実装可能な設計で、CIFAR-100、ImageNet-100、Herbarium-19などの主要ベンチマークで従来手法を上回る結果を達成。GCDの限界を勾配レベルで体系的に分析・解決した実用的な研究である。