この記事の音声は準備中です。
音声の一覧・再生リストへLLM の学習パイプライン(事前学習から選好調整まで)
この記事の目的
LLM の代表的な学習構成である「事前学習 → 指示チューニング → 選好調整」を理解し、指示追従・幻覚(hallucination)・迎合(sycophancy)と学習の関係を説明できるようになります。各性質を単一の工程だけの結果と決めつけず、プロンプトの指示と実行時の権限制御を区別するのが目的です。
対象読者
- 幻覚・迎合・過剰な拒否といった LLM の癖に、場当たりでなく構造から対処したいエンジニア
- ファインチューニング既存モデルの重みを自分のデータで追加調整すること。形式・文体・ドメイン特化の挙動に加え事実知識も学習し得るが、正確な再現や容易な更新は保証されない。評価・データ準備・再学習の費用を、プロンプト改善・RAG・モデル変更と比較して選ぶ。や評価設計の前提として、モデルの作られ方を押さえたい人
前提知識
- LLM はどうやってテキストを生成するか — 次トークン予測という基本形式
本文
概要: 3 つの工程と、それぞれが残す「癖」
下図は InstructGPT などで示された代表的な構成を簡略化したものです。すべての LLM がこの順序・回数で学習するわけではなく、工程の反復、検証可能な報酬による強化学習、蒸留上位モデル(教師)の出力を学習データにして、小型モデル(生徒)をファインチューニングする手法。品質が確認できた特定タスクを、小型モデルで安く速く量産するためのコスト削減手段。などを組み合わせる構成もあります。点線は関連する評価観点を示し、その工程だけが原因だと断定するものではありません。
図を元の大きさで表示
図の中をスクロールして読めます。キーボードでは図の領域へ Tab で移動し、矢印キーを使います。読み終わったら、この見出しをもう一度選ぶと閉じます。
事前学習: 次トークン予測で知識を得る
事前学習(pre-training)は、Web・書籍・コードなどの大量テキストで「次のトークンを当てる」課題をひたすら解かせる工程です。正確な予測のためには文法・事実・推論のパターンが必要になるため、この単純な課題から言語能力と知識が生まれます。実務に直結する帰結が 3 つあります。
- 知識には収録範囲がある: 学習データの期限(knowledge cutoff)は、その後の事実まで学習済みであることを保証しません。追加学習や検索で与える情報とは区別し、最新情報は検索・RAG外部の知識ソースを検索し、結果を LLM の入力に加えて回答の根拠にする手法。検索の判断を Agent に任せる構成は Agentic RAG と呼ばれる。 で根拠を渡します(RAG と Agent の関係・使い分け)
- 出現頻度だけで正確性は決まらない: 学習に含まれない社内情報を再現するとは期待できず、頻出する情報にも矛盾や誤りがあります。必要な事実はモデルの記憶だけに頼らず、検証済みの情報源と照合します
- 指示追従は十分に調整されていない: ベースモデルでも例示や文脈に応じて課題を解ける場合はありますが、利用者の指示へ安定して応答するよう追加調整したモデルとは区別します
指示チューニング(SFT): 指示に従う形式を学ぶ
教師ありファインチューニング(supervised fine-tuning、SFT)は、模範となる入出力で追加学習する方法です。指示と望ましい応答を使う指示チューニングでは、対話・指示追従・出力形式を調整します。SFT で新しい事実を学べないわけではありませんが、学習効率や誤答への影響はデータと手法に依存します。
新知識の学習と幻覚増加を調べた Gekhman らの実験 は、対象の closed-book QA で新しい事実の学習が遅く、学習に伴い幻覚が増えることを報告しています。これは全 FT の不可能性を示す結果ではありません。更新頻度・出典・削除や権限管理が必要な知識には検索を基本候補とし、FT は形式・振る舞いの改善と事実再現性を分けて評価します(ファインチューニングと蒸留)。
選好調整: 「良い応答」の基準を最適化する
選好調整(preference tuning)は、複数の応答候補への人間(または AI)の好み(どちらが良いか)を集め、好まれる方向へモデルを最適化する工程です。人間のフィードバックからの強化学習(RLHF人間の選好から報酬モデルを学び、KL 正則化付きでその報酬を最大化するよう方策(モデル)を最適化する選好調整の枠組み。有用さ・無害さ・トーンを形作る一方、迎合や報酬ハッキングの由来でもある。)や、選好データで直接最適化する手法(DPO報酬モデルの学習と強化学習の 2 段を、選好データから直接 1 段で最適化する選好調整の手法。「報酬モデルは方策に暗黙に含まれる」ことを使い、正規化定数を消去して選好から直接学ぶ。実装が軽い一方、明示的報酬モデルがないぶん細かい制御は RLHF に劣る。 など)が使われます。有用さ・無害さ・トーンといった「良さ」はここで形作られ、安全性の拒否挙動もここで調整されます。
この工程から生まれる性質: 幻覚・迎合・拒否
実務で悩まされる LLM の癖の多くは、工程の副産物として説明できます。
- 幻覚(hallucination): 事前学習の次トークン予測は事実の検証器ループの中でモデルの出力・行動の正しさを確かめる仕組み。決定的検証(テスト・lint・スキーマ)・モデル検証(judge)・人による検証(HITL)の 3 種があり、安くて確実なものから順に配置する。ではありません。一方、後段の学習では有用さ・正確さ・拒否など異なる目的も最適化するため、「目的関数が全工程で同一」とは考えません。調整後も誤答は残るため、根拠の外部供給・出典の照合・結果検証を組み込みます
- 迎合(sycophancy): Sharma らの研究 は、対象モデルの迎合と、人間の選好判断がそれに寄与しうることを報告しています。すべての人・データ・調整法へ一律に一般化せず、レビューでは誤った前提へ同調しないかを実際に評価します(LLM-as-a-Judge)
- 過剰・過小な拒否: 拒否挙動は SFT・選好調整・実行時の制御などに左右されます。正当な依頼を止める場合も、不適切な操作を止められない場合もあるため、モデルの拒否を権限境界の代わりにはしません(プロンプトインジェクション・ガードレール)
そして最も重要な帰結が、システムプロンプトが「効く」理由と限界です。モデルが指示に従うのは、そう振る舞うよう学習された傾向があるからで、命令を強制するインタープリタが中にあるわけではありません。だからプロンプトの禁止事項は破られえます。「プロンプトの指示はお願い、コードによる強制だけが保証」という本ライブラリの中心原則(ガードレール)は、学習工程のこの性質から直接導かれます。
この理解が効く場面
- 幻覚対策の設計: 「注意書きを増やす」から「根拠を渡す・検証を挟む」へ発想を切り替えられます(RAG 実装パターンの出典必須の設計)
- ガードレールモデルの判断の外側でコードとして強制される制御。入力・出力・アクションの 3 層に配置し、プロンプトでの指示(お願い)と区別される。の位置づけ: モデルへの指示とコードによる強制を混同しなくなります(ガードレール)
- FT の判断: 形式・振る舞いの改善、事実の再現性、更新・権限管理の要件を分け、検索と FT を比較できます(ファインチューニングと蒸留)
- judge・レビューの設計: 迎合バイアスを前提に、中立な聞き方・基準の明文化を組み込めます(LLM-as-a-Judge)
実務での注意点
アンチパターン
- 幻覚を「もっと強く禁止する」プロンプトで解決しようとする → 目的関数由来の性質は指示では消えない → 根拠の外部供給(RAG)・出典要求・検証ステップで構造的に抑える
- 社内知識をモデルの記憶に期待する → 学習データにない・まれな知識は再現されない → 検索で都度渡す設計にする
- 「はい/いいえ」で聞く誘導的なレビュー依頼をする → 迎合により同意へ偏る → 中立な形式・明文化した基準・複数観点で聞く
- システムプロンプトの禁止事項をセキュリティ境界として扱う → 指示は学習された傾向であり上書きされうる → 権限・ガードレールなどコード側の強制と併用する
チェックリスト
- 最新性・正確性が必要な情報を、モデルの記憶ではなく検索・ツールで渡している
- 幻覚対策が指示(お願い)だけでなく、構造(根拠供給・出典・検証)を含んでいる
- LLM に判定・レビューをさせる箇所で、迎合バイアスへの対策(中立な聞き方・基準明文化)がある
- プロンプトの禁止事項に、コード側の強制(権限・ガードレール)が対応している
- FT を検討する際、「形式の安定化」か「知識の注入」かを区別している
関連トピック
- ガードレール — 「指示はお願い」の実務側(本記事はその由来)
- ファインチューニングと蒸留 — SFT・選好調整を自分で行う場合の判断
- LLM-as-a-Judge — 迎合バイアスを踏まえた判定設計
- RAG と Agent の関係・使い分け — 知識の期限・穴への構造的対処
- LLM の能力と限界の由来 — 次に読む 1 本(能力の見積りへ)
- 事前学習とスケーリング則 — 事前学習の目的関数・スケーリング則損失がモデルサイズ・データ量・計算量に対して、滑らかなべき乗則で下がる経験則。計算最適(Chinchilla)はパラメータとデータをほぼ均等に増やすべきと修正した。べき指数・定数は構成依存の経験則で、普遍定数ではない。の学術的な詳解(本記事のさらに深く)
- アラインメントの理論(RLHF から DPO・RLVR まで) — 選好調整の定式化(RLHF/DPO)の学術的な詳解
参考資料
- Training language models to follow instructions with human feedback — SFT と人間のフィードバックによる調整を組み合わせた代表例(アクセス日: 2026-09-10)
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model — 選好データから直接最適化する手法(アクセス日: 2026-09-10)
- Towards Understanding Sycophancy in Language Models — 対象モデルの迎合と選好判断の関係を検証した研究(アクセス日: 2026-09-10)
- Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? — 新しい事実の SFT 学習と、対象評価での幻覚への影響(アクセス日: 2026-09-10)
TODO・未確認事項
なし