パイプライン並列
要約済み 2
-
arxiv-cs-ai 7時間前 3低帯域でも動く分散学習アーキテクチャ「ResBM」登場ResBM: Residual Bottleneck Models for Low-Bandwidth Pipeline Parallelism
研究チームが大規模分散学習の高帯域通信依存を解消する新アーキテクチャ「ResBM」を発表。 残差エンコーダ・デコーダでアクティベーションを圧縮し、既存手法より簡潔にパイプライン並列化を実現。 低コストなネットワーク環境でのLLM学習を可能にし、分散学習の民主化に貢献しうる成果。
解説 大規模モデルの分散学習では、ノード間の通信帯域がボトルネックとなる。データ並列（各ノードが同じモデルを持ち異なるデータを処理）は近年低帯域向けの効率的手法が整備されたが、パイプライン並列（モデルを層単位で分割しノードに割り当てる手法）は依然として超高帯域通信を必要とし、未解決課題であった。既存の試みであるSubspace Models（SM）は最大100倍のアクティベーション圧縮を主張するが、制約付き最適化という複雑な仕組みを要し、真のエンドツーエンド学習から乖離している。本論文が提案するResBM（Residual Bottleneck Model）は、低帯域環境をネイティブに想定したアーキテクチャとして設計されており、ステージ間で受け渡すアクティベーションに対して残差エンコーダ・デコーダのボトルネック構造を組み込む。これにより通信データ量を大幅に削減しながら、標準的なトランスフォーマー構造にそのまま適用できる汎用性を持つ。SMのような特殊な最適化手続きを排除したシンプルな設計で、低帯域ネットワーク環境や地理的に分散したGPUクラスタの活用可能性を広げる実用的意義がある。 -
hf-papers 1日前 4分散学習の中間ノード乗っ取りで安全対策を94%破壊——新手のバックドア攻撃を研究者が実証Backdoor Attacks on Decentralised Post-Training
研究者らが分散パイプライン並列学習における新型バックドア攻撃を初めて提案・実証した。 タスク算術を悪用してステルス性を保ちつつ安全アライメントを94%の確率で無効化できる。 安全対策の再適用後も60%の攻撃成功率を維持し、LLMサプライチェーンの脆弱性として警鐘を鳴らす。
解説 本論文は、大規模言語モデル（LLM）の分散後学習（post-training）における新たなセキュリティ脅威を初めて体系化した研究である。分散学習では複数ノードがモデルの一部（パイプラインステージ）を担当して協調学習するが、攻撃者が中間ステージのノードを制御した場合のリスクを検証している。 提案手法は2段階構成。まず「オフライン段階」として、攻撃者は自分が管理するステージのみのパラメータを書き換えた「バックドア済みサロゲートモデル」を事前に訓練し、ベースモデルとの差分（タスクベクトル）を計算する。次に「オンライン段階」として、本番のSFT（Supervised Fine-Tuning）実行中に、このタスクベクトルをスケーリング係数0.1・25イテレーション間隔で定期的に注入することでバックドアを埋め込む。トリガーワード「SUDO」を含むプロンプトに対し、モデルがマルウェア作成方法等の有害な回答を返すよう誘導する設計である。 実験はLLaMA-3.2 1Bモデルと金融ドメインデータセット（Finance-Instruct-500k）で実施。検証損失への影響はほぼゼロでステルス性を保ちつつ、攻撃成功率94%を達成。さらに安全アライメント訓練を追加適用しても60%の成功率が維持された。GPT-4oやClaudeとの直接比較はないが、オープンソースモデルを用いた分散学習エコシステム全体への脅威として実用的な意義が高い。分散AIインフラのセキュリティ設計上の重要課題を提示している。