メインコンテンツまでスキップ

02. アーキテクチャと学習・データ

このページでは、Evo 2 を支える3つの土台——モデルアーキテクチャ（StripedHyena 2）、学習データ（OpenGenome2）、2段階の学習戦略——を、LLM の技術と対応づけながら詳しく見ていきます。

論文では2つのサイズのモデルが学習されました。

モデルパラメータ数学習トークン数
Evo 2 7B70 億2.4 兆
Evo 2 40B400 億9.3 兆

いずれも、短い文脈での 事前学習（pretraining） と、文脈を 100 万トークンまで伸ばす 中間学習（midtraining） の2段階で訓練されます。

1. なぜ Transformer ではないのか：O(n2)O(n^2) の壁​

Evo 2 の最大の特徴は 100 万トークンの文脈長 です。これは「DNA 上で遠く離れた要素（たとえばエンハンサーと遺伝子本体）の関係」を捉えるために不可欠ですが、標準的な Transformer では実現が困難です。理由は、Self-Attention の計算量にあります。

Transformerで見たように、Self-Attention は次の式で全トークン間の関連度を計算します。

Attention(Q,K,V)=softmax ⁣(QK⊤d)V\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d}}\right) V

ここで Q,K,VQ, K, V は系列長 nn ×次元 dd の行列です。問題は QK⊤QK^\top で、これは n×nn \times n の行列 になります。つまり計算量・メモリともに O(n2)O(n^2) で系列長に対して二次的に増えます。

n=106 ⇒ n2=1012n = 10^6 \ \Rightarrow\ n^2 = 10^{12}

文脈長が 100 万になると、注意行列の要素数は 1 兆 に達し、まともに計算できません。これが「長文脈の壁」です。

文脈長 nコストTransformer O(n²)StripedHyena（準二次）
Self-Attention は文脈長の二乗でコストが増える。長文脈には準二次（subquadratic）な演算子が必要

2. StripedHyena 2：畳み込みマルチハイブリッド​

そこで Evo 2 が採用したのが StripedHyena 2 という 畳み込みマルチハイブリッド（convolutional multi-hybrid） アーキテクチャです。Attention をすべて捨てるのではなく、入力依存の畳み込み演算子（input-dependent convolution） と Attention を組み合わせます。

Hyena 演算子とは

通常の CNN のフィルタは固定ですが、Hyena 演算子 は入力に応じてフィルタが変調される 長い畳み込み + データ依存ゲーティング です。長い畳み込みは高速フーリエ変換（FFT）を使うと O(nlog⁡n)O(n \log n) で計算でき、O(n2)O(n^2) の Attention より圧倒的に軽くなります。これにより、Attention の「全ペア比較」に頼らずに長距離の依存関係を捉えられます。

StripedHyena 2 は、距離スケールの異なる 3種類の Hyena 演算子 と Attention を層ごとに織り交ぜます（名前の "Striped"＝縞模様は、この交互配置を指します）。

演算子略称捉える距離
Short ExplicitSE短距離（局所パターン）
Medium RegularizedMR中距離
Long ImplicitLI長距離（暗黙的に生成する長いフィルタ）
Rotary AttentionAttn必要箇所で全ペア比較を補完
入力SEMRLIAttnSEMRLI…出力（次塩基の確率）距離スケールの異なる演算子を縞状に積み重ね、各層が別々の距離の相互作用をモデル化する
StripedHyena 2 のブロック構成（論文 Fig. 1f に対応）。SE・MR・LI と Attention を層ごとに交互配置

この設計の効果は明確です。論文によると、StripedHyena 2 は 40B・100 万文脈で、高度に最適化された Transformer に対して最大 3 倍のスループット を達成し（Fig. 1g）、前世代の StripedHyena 1（リカレンスや長畳み込みベース）も上回ります。さらに DNA 上での 損失スケーリング（loss scaling）も改善 し、同じ学習データ量でより低い予測誤差に到達します。

LLM とのつながり：Attention 一辺倒からの脱却

「Transformer の Attention を別の演算子で置き換えて長文脈を効率化する」という流れは、自然言語 LLM でも State Space Model（Mamba など）やハイブリッドモデルとして活発に研究されています。Evo 2 はこの系譜の Hyena 系ハイブリッド を、ゲノムという超長文脈ドメインで大規模に実証した例と言えます。アーキテクチャの詳細は、本サイトの StripedHyena 2 詳解（姉妹論文 Ku et al., arXiv:2503.01868）で深掘りしています。

3. 学習データ：OpenGenome2​

Evo 2 は OpenGenome2 という新しいデータセットで学習されました。8.8 兆ヌクレオチド超の、キュレーション済み・非冗長の配列からなり、生命のすべてのドメインを含みます。

データソース内容
GTDB（Genome Taxonomy Database）細菌・古細菌のゲノム
NCBI genomes真核生物ゲノム（動物・植物・菌類・原生生物）
IMG/VRウイルスゲノム（ただし真核宿主に感染するものは除外。後述）
Metagenomics環境メタゲノム

真核ゲノムは長く複雑なので、論文では機能要素に注目した複数のサブセット——genic（遺伝子）領域、プロモーター＋エクソン＋スプライス部位、mRNA、5 kb ウィンドウ、ncRNA、EPDnew（プロモーター DB）、オルガネラ——を用意し、学習段階に応じて配合を変えています（Fig. 1d）。Extended Data Fig. 1a には、界（kingdom）ごとの真核ゲノム数・サブセット別の総塩基対・augmented データの内訳 が示されており、OpenGenome2 が単なる配列の寄せ集めではなく、機能を意識して設計・重み付けされたデータセット であることが分かります。

データの重み付けという工夫

すべての塩基を平等に学習させるのではなく、事前学習では機能的な遺伝要素（genic window）を重点的に、中間学習では長い配列の構成を重点的にサンプリングします。「重要な部分を厚く学習させる」というキュレーションが、限られた計算資源での性能を引き上げます。

4. 2段階の学習戦略​

Evo 2 は、生命の 分子スケールから個体スケールまで の長さの情報を捉えるために、2段階で学習されます（Fig. 1c–e）。

1. 事前学習 Pretraining文脈長 8,192 / 遺伝子領域を重視2. 中間学習 Midtraining文脈長を 100 万まで段階的に拡張機能的な遺伝要素を学ぶ要素間の長距離の関係を学ぶ文脈長:8k→32k → 128k → 256k → 512k →1M
2段階学習。短い文脈で基礎を学んでから、文脈長を100万まで伸ばして長距離依存を学習する
  • 第1段階：事前学習（pretraining） — 文脈長 8,192 トークン。遺伝子領域（genic window）を重視した重み付けで、機能的な遺伝要素 を学びます。
  • 第2段階：中間学習（midtraining） — 文脈長を段階的に 100 万トークン まで拡張。エクソン・プロモーター・遺伝子といった 要素どうしの長距離の関係 を学びます。
これは自然言語 LLM のベストプラクティスと同じ

「まず短い文脈で効率よく事前学習し、あとから文脈長を拡張する」のは、Llama 3 など自然言語 LLM の長文脈化で標準的に使われる手法です。最初から長文脈で学習するより、効率も最終品質も良いことが知られています。Evo 2 はこの知見をゲノムにそのまま適用しています。

5. 長文脈は本当に機能するのか：Needle-in-a-Haystack​

文脈長を 100 万にしても、モデルが実際にその全体を「読めて」いなければ意味がありません。これを検証するのが、自然言語 LLM でもおなじみの Needle-in-a-Haystack（干し草の中の針） テストです（Fig. 1i）。

  • 干し草（haystack）：100 万塩基のランダムな DNA
  • 針（needle）：その中のどこかに隠した 100 塩基の特定配列

Evo 2 はこの針を発見し、その値を予測できるか——というタスクです。結果、Evo 2 は 100 万トークンの文脈全体から針を正しく検索（recall） できました。これは、文脈ウィンドウ全体の情報を実際に活用できていることの確認になります（retrieval スコア 0.8 以上で有意、P<0.001P < 0.001）。

「本当に検索できている」の統計的な裏づけ（Extended Data Fig. 1e）

この有意性は、針の配列をランダムにシャッフルして帰無分布（null distribution）を作る ことで検証されています（categorical Jacobian 解析にもとづく N=1040N = 1040 個のスコア）。針が無意味になればスコアは下がるはず——その分布と比べ、スコア 0.8 を閾値にすると「検索できていない」という帰無仮説を P<0.001P < 0.001 で棄却できます。「たまたま高いスコアが出ただけ」ではないことを、統計的に示しているわけです。

6. トークン化とバイオセーフティ​

最後に、入力の作り方と安全設計に触れます。

単一ヌクレオチド・トークン化 — 自然言語 LLM は BPE などで単語を サブワード に分割しますが、Evo 2 は 1 塩基（A・T・G・C）を 1 トークン とします。語彙がわずか4種類なので塩基単位が自然であり、なにより 1 塩基の違い（点変異）を捉える には単一ヌクレオチド解像度が不可欠です。これが後の変異効果予測の精度を支えます。

バイオセーフティのためのデータ除外 — Evo 1 と同様、真核生物（ヒトを含む）に感染するウイルスのゲノムを学習データから除外 しています。これは、危険なヒト病原体ウイルスを設計・操作する能力を、公開モデルに持たせないための安全策です。実際この除外により、Evo 2 は真核ウイルス配列に対して 高いパープレキシティ（言語モデリング性能が低い） を示し（Extended Data Fig. 2a）、意図通りに機能しています。安全性の詳細は 06. クロマチン設計と考察 で扱います。

7. まとめ​

  • 100 万文脈を実現するため、O(n2)O(n^2) の Attention に頼らない StripedHyena 2（SE/MR/LI の畳み込み＋Attention のハイブリッド）を採用。Transformer 比で最大 3 倍高速。
  • OpenGenome2（8.8 兆 nt 超、全ドメイン）を、機能要素を重視して キュレーション・重み付け。
  • 事前学習（8k）→ 中間学習（1M） の2段階で、分子から個体までの長さスケールを学習。
  • 単一ヌクレオチド解像度 のトークン化と、真核ウイルス除外 による安全設計。

これらの土台の上で、Evo 2 は何を「学んだ」のでしょうか。次の 03. 変異効果予測 では、学習された尤度が 進化的制約 を捉え、ゼロショットで変異の影響を予測できることを見ていきます。