要約
研究チームが大規模分散学習の高帯域通信依存を解消する新アーキテクチャ「ResBM」を発表。 残差エンコーダ・デコーダでアクティベーションを圧縮し、既存手法より簡潔にパイプライン並列化を実現。 低コストなネットワーク環境でのLLM学習を可能にし、分散学習の民主化に貢献しうる成果。
低帯域でも動く分散学習アーキテクチャ「ResBM」登場
ResBM: Residual Bottleneck Models for Low-Bandwidth Pipeline Parallelism
原文を読む →
https://arxiv.org/abs/2604.11947
大規模モデルの分散学習では、ノード間の通信帯域がボトルネックとなる。データ並列（各ノードが同じモデルを持ち異なるデータを処理）は近年低帯域向けの効率的手法が整備されたが、パイプライン並列（モデルを層単位で分割しノードに割り当てる手法）は依然として超高帯域通信を必要とし、未解決課題であった。既存の試みであるSubspace Models（SM）は最大100倍のアクティベーション圧縮を主張するが、制約付き最適化という複雑な仕組みを要し、真のエンドツーエンド学習から乖離している。本論文が提案するResBM（Residual Bottleneck Model）は、低帯域環境をネイティブに想定したアーキテクチャとして設計されており、ステージ間で受け渡すアクティベーションに対して残差エンコーダ・デコーダのボトルネック構造を組み込む。これにより通信データ量を大幅に削減しながら、標準的なトランスフォーマー構造にそのまま適用できる汎用性を持つ。SMのような特殊な最適化手続きを排除したシンプルな設計で、低帯域ネットワーク環境や地理的に分散したGPUクラスタの活用可能性を広げる実用的意義がある。