til/…/evolutionary-model-merge
evolutionary-model-merge.mdupdated 2026-07-293,403 chars

Evolutionary Model Merge — 進化的探索で​モデル合成レシピを​自動発見する

Evolutionary Model Merge​（エボリューショナリー・​モデルマージ、​以下​ EvoMerge）は、​Sakana AI が​ 2024 年 3 月に​発表した​手法である。​既存の​学習済みモデルを​どう​組み合わせれば​最も​強くなるかを、進化的アルゴリズム​（evolutionary algorithm ＝ 生物の​進化を​模した​最適化手法。​候補を​たくさん​作り、​成績の​良い​ものを​残して​次の​候補を​作る）で​自動探索する。​追加の​学習データも​勾配更新​（gradient update ＝ 学習に​よる​パラメータの​書き換え）も​不要で​ありながら、​ファインチューニング​（fine-tuning ＝ 追加学習に​よる​専門化）の​到達点を​上回る​ 7B クラスの​モデルを​作り出した。

1. 背景 — モデルマージは​「職人芸」だった

モデルマージ​（model merging）とは、​複数の​学習済みモデルの​重み​（weight ＝ モデル内部の​数値パラメータ）を​混ぜ合わせて​ 1 つの​モデルに​する​手法を​指す。​学習を​回さずに​能力を​足し合わせられる​ため、​オープンウェイト​（重みが​公開された​モデル）​コミュニティで​急速に​広まった。

  • SLERP​（球面線形補間）・TIES・DARE と​いった​マージ​手法が​知られているが、​いずれも​「どの​層を​どの​比率で​混ぜるか」を​人間が​手で​決める​必要が​ある。
  • 探索​空間は​層数 × モデル数 × 比率の​組み合わせで​爆発する。​人間の​勘に​頼る以上、​試せるのは​ごく​一部に​すぎない。
  • 結果と​して、​うまく​いった​レシピは​「なぜ効くのか​説明できないが​経験的に​良い」と​いう​職人芸の​集積に​なっていた。

2. 手法 — CMA-ES で​ 2 種類の​探索​空間を​回す

EvoMerge は​人間の​勘を​ CMA-ES​（Covariance Matrix Adaptation Evolution Strategy ＝ 共分散行列適応進化戦略。​連続値の​最適化に​強い、​実績の​ある​進化的探索アルゴリズム）に​置き換える。​探索​空間は​ 2 つある。

パラメータ​空間​（Parameter Space, PS）

  • 層ごとに​「どの​モデルの​重みを​どれだけ混ぜるか」の​係数を​探索する。
  • 従来手法と​同じ​土俵だが、​比率を​人間ではなく​進化的探索が​決める​点が​違う。

データフロー​空間​（Data Flow Space, DFS）

  • 重みは​混ぜず、推論時に​トークン​（入力を​分割した​処理単位）が​どの​モデルの​どの​層を​通るかと​いう​経路​その​ものを​探索する。
  • 層を​積み直す発想なので、7B​（70 億パラメータ）​級の​部品から​ 21B 相当の​構成を​合成できる。​異なる​サイズ・系統の​モデルも​組み合わせられる。

適合度​（fitness ＝ 候補の​良し悪しを​表すスコア）は、​候補モデルを​目的タスクの​ベンチマークで​実際に​走らせた​精度で​測る。​これを​世代ごとに​繰り返し、​収束するまで​回す。PS と​ DFS を​組み合わせた​ハイブリッド探索が​最も​高い​性能を​出した。

3. 成果 — 公開された​モデルと​ベンチマーク

EvoLLM-JP-v1-7B

  • 合成元：shisa-gamma-7b-v1​（日本語 LLM）​＋ WizardMath-7B ＋ Abel-7B-002​（いずれも​英語の​数学特化モデル）。
  • MGSM-JA（Multilingual Grade School Math の​日本語版 ＝ 小学校レベルの​文章題を​日本語で​解かせる​ベンチマーク）で​ 52.0% を​記録。
  • 比較：合成元の​各モデル単体は​およそ​ 30%。​同じ​素材を​ファインチューニングした​場合の​上限は​ 43.2% だった。学習を​一切していない合成モデルが、​学習した​専門モデルを​上回った。
  • さらに、はるかに​大きい 70B クラスの​日本語モデルを​この​タスクで​上回った。

EvoLLM-JP-A-v1-7B

  • 数学側を​ Arithmo2-Mistral-7B に​差し替えた​ Apache 2.0 ライセンス​（商用利用​可）の​バリアント。​実務で​使えるよう​権利面を​整理した版。

EvoVLM-JP

  • VLM​（Vision-Language Model ＝ 画像と​言葉を​同時に​扱う​モデル）を​同じ​手法で​合成。​日本語の​文化固有コンテンツ​（例：信号機の​「青」、​日本の​風景や​食べ物）を​正しく​説明できるかを​問う​ベンチマークで​当時の​最高水準を​達成した。
  • 「日本語 LLM ＋ 英語 VLM」と​いう、​人間なら​試さない​組み合わせから​生まれている。

4. なぜ重要か

  • 計算コストが​桁で​違う。 勾配更新を​しないので、​必要なのは​進化的探索と​推論に​よる​評価だけ。​ゼロから​学習する​場合の​数分の​一の​コストで​同等以上の​モデルが​手に​入る。
  • 人間が​思いつかない​組み合わせを​見つける。「日本語の​汎用モデル＋英語の​数学モデル 2 本」から​「日本語の​数学モデル」が​生まれる。​言語と​能力が​別々に​転移すると​いう​事実自体が、​探索の​副産物と​して​示された。
  • 民主化。 生成された​重みは​ HuggingFace​（機械学習モデルの​共有プラットフォーム）で​公開されており、​中規模の​ GPU が​あればどの​組織でも​再現・利用できる。
  • 査読を​通っている。 2024 年に​ Nature Machine Intelligence に​掲載​（doi: 10.1038/s42256-024-00975-8）。​プレプリントは​ arXiv:2403.13187​（2024 年 3 月 19 日）。

5. 限界と​注意点

  • 合成元に​無い能力は​生まれない。 EvoMerge は​既存モデルの​能力の​再配置であって、​新しい​知識の​獲得ではない。
  • 探索は​目的タスクに​依存する。 MGSM-JA を​適合度に​使えば​ MGSM-JA に​最適化される。​汎用性能が​同時に​上がる​保証は​ない。
  • 評価コストが本体。 学習は​不要でも、​世代 × 個体数ぶんの​推論評価が​要る。​ベンチマークが​重いほど​探索も​重くなる。
  • ライセンスの​継承。 合成元の​ライセンスが​そのまま​制約に​なる。​商用利用を​狙うなら​素材選定の​段階で​権利を​見る​必要が​ある​（Apache 2.0 版が​別途用意されたのは​この​ため）。

6. Sakana AI — 沿革

  • 2023 年：東京で​設立。​共同創業者は​ David Ha​（デイヴィッド・ハ）——元 Google Brain Japan 責任者で、​ニューロエボリューション​（神経回路の​構造​その​ものを​進化させる​研究）で​知られる​——と​ Llion Jones​（ライオン・ジョーンズ）——Transformer の​原論文​「Attention Is All You Need」の​共著者。​Google 系の​スピンオフではなく​独立会社である。
  • 社名の​「Sakana」は​魚。1 匹の​巨大な​モデルではなく、​小さな​モデルの​群れ​（school of fish）で​知能を​作ると​いう​設計​思想を​表している。
  • 2024 年 3 月：Evolutionary Optimization of Model Merging Recipes を​発表。​EvoLLM-JP / EvoVLM-JP を​同時公開。
  • 2024 年 8 月：The AI Scientist を​発表。​研究アイデアの​立案 → 実験コードの​実行 → 論文執筆 → 査読までを​自動で​回すシステム。​AI に​よる​科学的発見の​自動化と​いう​次の​主題へ​移った。
  • 研究哲学：進化・​自己組織化・創発​（emergence ＝ 個々の​単純な​要素の​相互作用から、​全体と​して​複雑な​性質が​現れる​こと）と​いう​自然界の​原理を、​現代の​ディープラーニングに​持ち込む。

7. まとめ

EvoMerge は​問いを​立て​直した​手法である。​「どう​すれば​強い​モデルを学習できるか」ではなく、「すでに​存在する​強い​モデルを、​どう組み合わせれば​良いか」。​この​転換に​より、​計算資源と​データの​壁が​大幅に​下がり、​ドメイン特化 AI の​構築が​大企業以外にも​開かれた。​オープンウェイトの​モデルが​増え続けるかぎり、​探索対象は​自動的に​広がっていく​——素材が​増える​ほど​強くなる、と​いう​性質を​持つ手法だと​いえる。

参考文献

関連ノート

148 notestil