イントロダクション

自作 LLM 入門 へようこそ。本サイトは、大規模言語モデル（LLM）をゼロから実装しながら、その仕組みを理解することを目的としたドキュメントです。

このサイトで扱うこと

LLM を作って理解する のセクションで、次の流れを一歩ずつたどります。

• LLM を支える数学の基礎（ベクトル・内積・行列積・softmax）
• Transformer と、その心臓部であるアテンション機構（概念から NumPy 実装まで）

トークナイザーや学習ループといった章は、今後追加していく予定です。

前提知識

• Python または TypeScript の基本的な読み書き
• 線形代数・確率の初歩

注記

本サイトは執筆中です。章立ては今後追加・変更される可能性があります。