1. 概要：なぜマルチハイブリッドか
このセクションでは、論文 「Systems and Algorithms for Convolutional Multi-Hybrid Language Models at Scale」（Ku, Nguyen, Romero et al., 2025, arXiv:2503.01868）を詳しく読み解きます。これは、生物学における LLM の応用事例で扱った Evo 2 を支える基盤アーキテクチャ StripedHyena 2 の本体論文です。
2. 3つの Hyena 演算子
StripedHyena 2 の心臓部は、入力依存の畳み込み（input-dependent convolution） にもとづく Hyena 演算子 です。このページでは、Hyena の基本構造を数式で押さえたうえで、距離スケールの異なる3つの変種——SE・MR・LI——を見ていきます。
3. アーキテクチャ設計とスケーリング
02で見た3つの Hyena 演算子を、どう積み重ねるか（block layout）、どう効率化するか（filter grouping）、どこまで文脈を伸ばせるか（context extension）、そして 実際どれだけ速いか（throughput） を見ていきます。
4. ハードウェア対応の畳み込みカーネル
03で「フィルタをグループ化すると畳み込みを GEMM にまとめられる」と述べました。このページでは、その GEMM を GPU のテンソルコアで実際にどう計算するか ——論文の核心である 2段階ブロックアルゴリズム を掘り下げます。
5. 長系列の分散学習（Context Parallelism）
04までは1台の GPU の中の話でした。しかし 100 万トークンの系列 は、1台の GPU メモリには到底収まりません。このページでは、長い系列を 複数の GPU に分散 して学習する コンテキスト並列（context parallelism, CP） と、StripedHyena 2 の畳み込みをどう分散するか——とりわけ美しい FFT 畳み込み ——を見ていきます。
6. FFT 畳み込みの数学と分散実装
05で、Hyena-LI の長い畳み込みを FFT で計算し、それを 複数 GPU に分散 する話に触れました。このページは、その数学的な背景を 論文の付録（A.2.4〜A.3）に沿って完全に導出 する深掘り編です。FFT の仕組みから、分散 p2p FFT がなぜ追加通信なしで成立するのかまでを追います。