model-merging
要約済み 1
-
hf-blog 7日前 3Darwin V6、進化的アルゴリズムでモデルマージを刷新Darwin V6: Diagnostic-Guided Evolutionary Model Merging4 days ago•11
診断誘導型の進化的モデルマージ手法「Darwin V6」が発表された。 テンソル単位の静的解析とCMA-ES進化アルゴリズムで最適なマージ比率を自動探索し、GPQA Diamondで+5.8%の性能向上を達成。 均一マージに依存してきたモデル統合の手法を根本から見直す新たなパラダイムを提示した。
解説 従来のmergekitが全テンソルに均一比率を適用するのに対し、Darwin V6はShannon entropyや機能プローブによる診断で各テンソルの最適マージ比率を独立決定する。CMA-ES進化探索と直接移植（補間なし）を組み合わせ、Qwen 3.5やGemma 4ベースでGPQA Diamond 90%等を達成。GPT-4oやClaude等の商用モデルとは直接競合しないが、オープンウェイトモデルの性能向上手法として開発者・研究者に実用的な示唆を与える。