モデルマージ
要約済み 2
-
hf-blog 2日前 4訓練不要で744B超え——Darwin-27Bが最新手法で世界5位"Darwin-27B-Opus: Surpassing the Foundation Model Without Training"
研究チームがFFN層を進化的アルゴリズムでブレンドする新手法「Darwin-27B-Opus」を発表。 27BモデルがGPQA Diamondで86.9%を達成し、744Bの巨大モデルを上回る性能を実証。 H100×1台・約2時間という低コストで実現し、効率的なモデル強化の新たな道を開く。
解説 Darwin-27B-Opusは学習不要でGPQA Diamondベンチマーク86.9%を達成した27Bパラメータモデル。Qwen3.5-122B（86.6%）やGLM-5.1（744B・86.2%）を上回り世界5位に入った。提案手法「Evolutionary FFN Breeding」はTransformerの2要素を明確に区別することが核心。Attention層は推論・文脈構築を担うため改変不可（実験では60%→10%にスコア崩壊）。一方FFN層（フィードフォワードネットワーク）は知識を格納しており、同一アーキテクチャのモデル間で移植可能と判断。親モデルはQwen3.5-27B（多言語基盤・父）とClaude 4.6 Opusを蒸留した推論特化モデル（母）で、CMA-ES（共分散行列適応進化戦略）により14次元のFFNブレンド比率を最適化する。評価は2パス方式を採用し、greedy decoding（74.7%）の後、誤答を確率的再生成と多数決で補正して86.9%を達成。韓国語ベンチマークでも両親を超える「雑種強勢」効果が確認された。従来のファインチューニング（H100×8〜64台・数日〜数週間）に比べ計算コストを劇的に削減できる点で実用的意義が高く、HuggingFace上の既存モデルが親候補となりえる点もエコシステムへの波及効果として注目される。 -
hf-blog 7日前 4研究者、生成LLMを双方向エンコーダに変換する新手法を発表BidirLM: Turning Generative LLMs into the Best Open-Source Omnimodal Encoders4 days ago•23
因果的LLMを2段階適応（マスク予測＋対比学習）で双方向エンコーダに転換する「BidirLM」が登場。 テキスト・画像・音声を統合する250GPU時間の軽量学習で、MTEB/MIEBにて最高水準の性能を達成。 既存の生成モデルをRAGや検索基盤に転用できる道を開き、エンコーダ開発コストの大幅削減に貢献。
解説 生成LLMの膨大な事前学習投資を埋め込みタスクに再利用する実用的手法。MNTP＋対比学習の2段階パイプラインと重みマージにより、わずか250GPU時間でテキスト・画像・音声対応の統合エンコーダを構築できる点が画期的。OpenAI embeddingやCohere等の商用APIに対抗するオープンソース選択肢として開発者に直接的な恩恵があり、新たな専門モデルが出るたびにマージで拡張可能なモジュール性も研究者にとって魅力的。