11-llm-internals — LLM 内部構造(学術編)
LLM のモデル内部構造・学習理論・推論機構・解釈可能性を、数式と原論文への参照を伴う学術的な粒度で扱うセクションです。10-llm-foundations(実務直感・数式なし)の「なぜ」をもう 1 段掘る下層に位置し、各記事は対応する 10 章記事から「さらに深く」たどれる入口として設計します。
- 置くもの: Transformer の数式的構造、注意の変種、MoE の内部、スケーリング則損失がモデルサイズ・データ量・計算量に対して、滑らかなべき乗則で下がる経験則。計算最適(Chinchilla)はパラメータとデータをほぼ均等に増やすべきと修正した。べき指数・定数は構成依存の経験則で、普遍定数ではない。、アラインメントの定式化、推論の計算量、解釈可能性、文脈内学習プロンプトの例だけから、重みを変えずにタスクを学ぶように振る舞う現象。理論仮説(暗黙のベイズ推定・学習アルゴリズムの模倣・誘導ヘッド)は決着していない。few-shot の例は正解の列挙より、出力の形式・分布の実演として効く。の理論。各記事は「結果の式 + 日本語の読み下し」を原則とし、原論文(arXiv 等)を参考資料に必須とする
- 置かないもの: 線形代数・確率の教材化(前提知識として外部に委ねる)、分散学習インフラの実装(→ 05-operations の GPU・セルフホスト)、フレームワーク/カーネルの実装コード、網羅的な論文サーベイの維持、非公開モデル内部の推測
数式の規約
- 数式は KaTeX 記法(
$...$インライン /$$...$$ブロック)で書きます - 各数式の直後に日本語の読み下しを添え、数式を読み飛ばしても本文が成立するようにします
- 導出は結論の解釈が変わる場合のみ最小限にとどめます