10-llm-foundations — LLM 基礎
「LLM 自体がなぜそう振る舞うのか」を、実務の設計・デバッグの判断に効く範囲で扱うセクションです。数式や実装の詳細には踏み込まず、挙動の由来を直感として理解し、各記事の末尾で既存の実務記事へ接続します。
- 置くもの: 生成・トークン・注意機構・学習工程・能力限界の「なぜ」。実務記事への接続
- 置かないもの: 数式による理論解説(→ 外部教材)、Agent の概念(→ 01-concepts)、個別モデルの情報(→ 03-implementation のモデルガイド)
この章の記事
| 記事 | 内容 |
|---|---|
| LLM はどうやってテキストを生成するか | LLM はどうやってテキストを生成するか(次トークン予測・サンプリング・非決定性の由来) |
| トークナイザとトークン経済 | トークナイザテキストとトークン列を相互変換する部品。分割のされ方は言語・内容で大きく変わり、モデル(世代)ごとに異なるため、コスト・コンテキストの見積りは公式のカウント手段による実測を正とする。とトークン経済(課金・コンテキスト・多言語効率の単位) |
| 注意機構とコンテキストウィンドウの仕組み | 注意機構とコンテキストウィンドウの仕組み(KV キャッシュ生成中に各トークンの中間表現(Key / Value)を保存・再利用する仕組みで、プロンプトキャッシュの実体。中間表現は先頭からの並びに依存するため、キャッシュは前方一致でしか効かない。・長文の品質劣化) |
| LLM の学習パイプライン(事前学習から選好調整まで) | LLM の学習パイプライン(事前学習 → SFT → 選好調整複数の応答への人間(または AI)の選好から「良い応答」の基準を学ばせる LLM の学習工程(RLHF・DPO など)。有用さ・無害さ・トーンを形作る一方、迎合(sycophancy)や過剰な拒否の由来にもなる。と、幻覚モデルが事実でない内容をもっともらしく生成する現象。「もっともらしい続きを生成する」という学習目的の自然な帰結であり、対策は指示の強化ではなく、根拠の外部供給(RAG)・出典要求・検証という構造側にある。・迎合の由来) |
| LLM の能力と限界の由来 | LLM の能力と限界の由来(得意・不得意の構造とツールによる補完) |
| 推論モデル(考える時間を使う LLM) | 推論モデル応答の前に中間の思考(推論トークン)を生成してから答える LLM。多段推論・検証可能な問題で精度が上がる一方、単純タスクでは遅く高くなる(overthinking)。思考量は努力パラメータ等で制御する。(考える時間を使う LLM。仕組みの直感・向き不向き・思考量制御・overthinking・評価) |
| マルチモーダルモデルの仕組み(数式なしの直感) | マルチモーダルテキスト以外の入力(画像・音声など)を理解できるモデルの能力。コンピュータ操作型 Agent の前提となる。モデルの仕組み(数式なしの直感。表現ベクトル化・パッチ・統一系列・トークン経済) |
読む順序はこの表の並びを推奨します(生成の仕組み → トークン → 注意機構 → 学習 → 能力 → 推論モデルの順で積み上がります)。マルチモーダルは注意機構(統一系列)を前提とするため、上の 6 本のあとに読むのが自然です。