02. 3つの Hyena 演算子

StripedHyena 2 の心臓部は、入力依存の畳み込み（input-dependent convolution） にもとづく Hyena 演算子 です。このページでは、Hyena の基本構造を数式で押さえたうえで、距離スケールの異なる3つの変種——SE・MR・LI——を見ていきます。

1. 入力依存の畳み込みという発想

Self-Attention は、全トークン対の関連度を $QK^\top$ で計算します（Transformer参照）。これは強力ですが $O(n^2)$ です。

Hyena の発想は、「全対比較」の代わりに、長い畳み込みフィルタとゲーティングで系列を混ぜる ことです。畳み込みは高速フーリエ変換（FFT）を使えば $O(n \log n)$、フィルタが短ければさらに軽く計算できます。鍵は、フィルタを 入力に応じて変調する（ゲーティングする） ことで、固定フィルタの CNN にはない表現力を得る点です。

2. Hyena 演算子の構造

元の Hyena（Poli et al., 2023）の演算子は、3つの「特徴量」$q, k, v$ を作り、ゲーティングと内部畳み込みで混ぜて、射影する という構造です。直感的には次のように書けます（$*$ は畳み込み、$\odot$ は要素ごとの積）。

$$q = h_T * (xW), \qquad k = h_H * (xU), \qquad v = h_K * (xP)$$ $$y = \Bigl[\, q \,\odot\, \bigl(h_G * (k \odot v)\bigr) \Bigr]\, M$$

つまり、入力 $x$ を dense 行列 $W, U, P$ で線形射影 し、それぞれ 短い畳み込み $h_T, h_H, h_K$ で特徴量化（featurization） して $q, k, v$ を作ります。次に $k \odot v$ を 内部フィルタ $h_G$ で畳み込み、$q$ で ゲーティング し、最後に dense 行列 $M$ で射影 して出力 $y$ を得ます。

論文の正確な表記（添字付き）

論文では、空間（チャネル）次元をギリシャ文字の上付き $\alpha, \beta$、時間次元を下付き $t, t'$ で表し、次のように書きます。

$$\begin{aligned} q^\alpha_t &= \mathsf{T}^\alpha_{tt'}\,(x^\beta_{t'} W^{\beta\alpha}) & k^\alpha_t &= \mathsf{H}^\alpha_{tt'}\,(x^\beta_{t'} U^{\beta\alpha}) \\ v^\alpha_t &= \mathsf{K}^\alpha_{tt'}\,(x^\beta_{t'} P^{\beta\alpha}) & y^\alpha_t &= \bigl(q^\beta_t\, \mathsf{G}^\beta_{tt'}\, k^\beta_{t'}\, v^\beta_{t'}\bigr)\, M^{\beta\alpha} \end{aligned}$$

ここで $\mathsf{T}, \mathsf{H}, \mathsf{K}, \mathsf{G}$ は Toeplitz 行列（それぞれフィルタ $h_T, h_H, h_K, h_G$ による畳み込みに対応）、$W, U, P, M$ は dense 行列です。畳み込みが Toeplitz 行列の積として書けることは、04. ハードウェア対応カーネルで効率化の鍵になります。

Hyena 演算子のデータフロー。「内部フィルタ $h_G$ をどう作るか」が3つの変種を分ける（論文 Fig. 2.1 に対応）

元の Hyena では、外側のフィルタ $h_T, h_H, h_K$ は 明示的（explicit）——CNN のように各要素が学習パラメータ——で、内部フィルタ $h_G$ は 暗黙的（implicit）——基底関数やニューラルネットの出力として生成——でした。このため、Hyena 系は long convolution operator（長畳み込み演算子） とも総称されます。

論文の主張は、「すべての畳み込みが長く暗黙的である必要はない」「演算子はターゲットのハードウェアで高速に動くよう設計すべき」 というものです。ここから3つの変種が生まれます。

3. 3つの演算子：SE / MR / LI

3つの変種は、内部フィルタの長さと作り方 が違います。

3つの Hyena 演算子のフィルタ長。捉える距離スケールが異なり、これらを組み合わせる（＝マルチハイブリッド）

Hyena-LI（long implicit）

元の設計に最も近い変種です。外側のフィルタ $h_T, h_H, h_K$ は短く明示的なまま、内部フィルタを 実指数の線形結合 として暗黙的に生成します。

$$h_t = \sum_{n=1}^{d} R_n\, \lambda_n^{\,t-1}, \qquad R_n, \lambda_n \in \mathbb{R}$$

実数値の簡略版で、これにより 再帰的（recurrent）なパラメータ化に切り替えて、生成時に定数メモリ にできます（SSM のように、状態を持って1トークンずつ生成できる）。系列全体にわたる長距離の情報集約を担います。

Hyena-SE（short explicit）

すべての畳み込みが 短く明示的なフィルタ の変種です。フィルタが短ければ（論文の実験では 14 未満、最終的なスケール実行では 4〜7）、単純な明示的パラメータ化で十分収束します。

• 短系列を含む幅広い入力域で speedup の鍵。
• 局所的な multi-token recall に優れる。
• テンソルコア向けの実装で、全系列混合演算子の中で最高スループット。
• FFN（フィードフォワード層）の代替 としても使える。

Hyena-MR（medium regularized）

数百長の明示的フィルタをもつ変種です。長い明示的畳み込みは最適化が難しいのですが、単純な 指数減衰の正則化 で収束させます。

$$h_t = \hat{h}_t\, \lambda^{-\alpha t}$$

ここで $\hat{h}_t$ が学習パラメータ、$\alpha$ はチャネルごとに掃引（sweep）されます。filter grouping（03）とテンソルコア実装により、linear attention や状態空間モデルより大幅に高速 です。論文は「Hyena-MR は Hyena-LI に対して、sliding window attention が通常の attention に対するのと同じ関係」と表現しています——全域を見る代わりに、限られた窓を効率的に見る、という位置づけです。

4. FIR フィルタと効率的な生成

Hyena-SE と Hyena-MR のフィルタは FIR（有限インパルス応答, finite-impulse response） です。長さ $\ell_h$ の FIR フィルタ $h$ による因果畳み込みは、

$$y_t = \sum_{k=0}^{\ell_h - 1} h_k\, x_{t-k}$$

と書けます。出力 $y_t$ が 過去 $\ell_h$ 個の入力だけに依存 するのがポイントです。フィルタ長が有限なので、自己回帰生成のときも直近 $\ell_h$ 個の要素を保持すればよく、定数メモリ で済みます（sliding window attention と同様）。この $y_t = \sum_k h_{t-k} x_k$ という形が、04. ハードウェア対応カーネルで Toeplitz 行列の積として高速化されます。Hyena-LI も、前述のとおり再帰的パラメータ化に切り替えれば定数メモリで生成できます。

LLM とのつながり：効率化アーキの「いいとこ取り」

• SE（短い FIR）＝ 局所パターンに強く、最速。FFN の代替にもなる。
• MR（中程度 FIR）＝ sliding window attention 的な中距離。
• LI（長い暗黙）＝ SSM/RNN 的な全系列集約・定数メモリ生成。
• Attention＝ 長距離の精密 recall。

自然言語 LLM で個別に研究されてきた「効率化の各路線」を、1つのアーキ内で役割分担させて組み合わせる のがマルチハイブリッドの本質です。どれをどう積むか（block layout）が次の論点になります。

5. まとめ

• Hyena 演算子は、射影 + 短畳み込みで $q,k,v$ を作り、内部フィルタ $h_G$ とゲーティングで混ぜて射影 する構造。畳み込みは Toeplitz 行列の積。
• SE（短・明示的）/ MR（中・正則化）/ LI（長・暗黙的） の3変種が、それぞれ局所・中距離・全系列をカバーする。
• SE/MR は FIR で定数メモリ生成、LI も再帰化で定数メモリ。

では、これらの演算子をどう積み重ね、どう高速化するのか。次の 03. アーキテクチャ設計とスケーリング で、block layout・filter grouping・スループットを見ていきます。