学習用合成データの実務

この記事の目的

ファインチューニング既存モデルの重みを自分のデータで追加調整すること。形式・文体・ドメイン特化の挙動に加え事実知識も学習し得るが、正確な再現や容易な更新は保証されない。評価・データ準備・再学習の費用を、プロンプト改善・RAG・モデル変更と比較して選ぶ。(FT)・蒸留・選好調整複数の応答への人間(または AI)の選好から「良い応答」の基準を学ばせる LLM の学習工程(RLHF・DPO など)。有用さ・無害さ・トーンを形作る一方、迎合(sycophancy)や過剰な拒否の由来にもなる。に使うデータを LLM で生成する際の、作り方の型と品質管理・落とし穴を押さえられるようになります。「LLM に量産させれば安く学習データが作れる」という発想の危うさ(崩壊・単調化・汚染・権利)を理解し、実際に使える合成データLLM に生成させた評価・学習用のデータ。量とバリエーションを安く稼げる一方、分布の偏りと盲点の共有(生成モデルと評価対象が同系だと弱点が現れない)に注意が必要。を設計できる状態がゴールです。

対象読者

• FT・蒸留上位モデル(教師)の出力を学習データにして、小型モデル(生徒)をファインチューニングする手法。品質が確認できた特定タスクを、小型モデルで安く速く量産するためのコスト削減手段。のための学習データを、LLM を使って作ろうとしているエンジニア
• 手元の学習データが足りず、合成で補うことの是非と作り方を判断したいエンジニア

前提知識

• ファインチューニングと蒸留 — FT・蒸留を「いつ選ぶか」の判断と手法(本記事はそのデータ作成側)
• LLM の学習パイプライン(事前学習から選好調整まで) — SFT「指示 → 望ましい応答」の模範例で LLM を追加学習させる工程。指示追従・形式・文体を調整し、新しい事実も学習し得るが、正確な再現や容易な更新は保証されない。鮮度・出典・権限が重要な知識は検索との比較・併用を検討する。・選好調整で挙動が決まる仕組み(なぜそのデータが要るか)

本文

概要: 分担と「学習用」の限定

本記事は学習用に限定します。評価用の合成データ(分布の偏り・盲点の共有・正解ラベルの信頼性)は 評価データセットの構築と保守 が正本です。両者を混同すると、後述の「汚染」を招きます。

そもそも FT・蒸留が本当に必要かは ファインチューニングと蒸留 で判断します。プロンプト・RAG外部の知識ソースを検索し、結果を LLM の入力に加えて回答の根拠にする手法。検索の判断を Agent に任せる構成は Agentic RAG と呼ばれる。 で足りるなら、学習データを作る必要はありません。

用途の類型

学習用合成データは、目的で作り方が変わります。

用途を先に決めます。「とりあえず大量に生成」は、どの用途にも中途半端なデータを生みます。

生成の型

• シード拡張: 少数の良質な実例(シード)を種に、LLM でバリエーションを生成します。実データの分布を保ちやすい一方、シードの偏りが増幅されます
• ペルソナ・条件の多様化: 「初心者向け」「専門家向け」など視点・条件を変えて生成し、多様性を稼ぎます。単調化(後述)への対策になります
• 自己生成 + フィルタ: モデルに大量生成させ、検証器ループの中でモデルの出力・行動の正しさを確かめる仕組み。決定的検証(テスト・lint・スキーマ)・モデル検証(judge)・人による検証(HITL)の 3 種があり、安くて確実なものから順に配置する。で良質なものだけを残します。フィルタの質が全体の質を決めます(生成そのものより、選別の設計が本体です)
• 蒸留は教師出力の選別が要: 上位モデルの出力をそのまま使わず、正しさ・形式を検証してから採用します

品質管理

合成データの品質管理は、生成より選別と計測が中心です。

• 検証器でフィルタリングする: 生成物を、決定的な検証(スキーマ・テスト・照合)やモデル判定(LLM-as-a-Judge)で選別します。「生成は難しいが検証は易しい」構造を作れる用途ほど、合成データは有効です(ループ内フィードバックと検証器の設計)
• 多様性を測る: 大量生成は、似たようなサンプルばかりになりがちです。重複・近重複の割合や表現の分散を測り、多様性が確保されているか確認します(単調なデータで学習すると、モデルの出力も単調になります)
• 人手サンプリング検品: 全数は無理でも、無作為抽出した一定数を人が確認します。「もっともらしいが誤り」の合成データは、機械フィルタをすり抜けることがあります
• 正解ラベルの信頼性: 生成器と同系のモデルで正解を付けると、両者が共有する誤りが検出できません(盲点の共有)。ラベルは独立した手段で検証します

劣化リスク: モデル崩壊と単調化

合成データ最大の落とし穴が、自己出力での学習を繰り返すことによる劣化です。

• モデル崩壊(model collapse): モデルの出力を学習データにして次のモデルを訓練する、を繰り返すと、分布の裾(まれなパターン)が失われ、出力が平均的・単調に崩れていく現象です。合成データだけで世代を重ねるほど危険が増します
• スタイルの単調化: 単一モデルの出力で学習すると、そのモデルの言い回し・構造の癖に染まります。多様性の確保(ペルソナ多様化・複数ソース)が対策です
• 実データを混ぜる: 崩壊を避ける実務的な指針は、合成データを実データの代替ではなく補強として使い、実データを一定割合混ぜることです。「実データが足りないから全部合成」は最も崩壊しやすい構成です

権利と規約: 教師モデル出力の利用条件

蒸留や合成データ生成に他社の LLM の出力を使う場合、その利用条件は提供者ごとに異なります。

• 一部の提供者は、自社モデルの出力を競合モデルの学習に使うことを利用規約で制限しています。制限の有無・範囲は提供者と時期で変わります
• 断定を避け、利用規約を必ず確認します。契約面のチェックは コンプライアンスとガバナンス のベンダー契約確認と整合させます
• 自社モデル・オープンウェイトモデルの重みが公開され、ダウンロードして自社インフラでホストできる LLM。ライセンス条件はモデルごとに大きく異なり、「オープン = 自由に商用可」ではなく、OSI の「オープンソース AI」定義(OSAID)とも区別される。(ライセンス類型)/ 主要 LLM の全体像(モデルの地図)モデルの出力を使う、実データを使うなど、権利上安全な選択肢も検討します

評価データとの厳格な分離

学習用合成データで最も起こりやすい事故が、評価データへの汚染です。

• 生成した学習データが評価セットと重なると、評価が過大に出ます(見た問題を解けるのは当然です)。学習用と評価用の生成は厳格に分離します(評価データセットの構築と保守)
• 同じシードから学習用と評価用を両方作ると、表現違いの実質同一データが混入します。シードのレベルで分けます
• 汚染は静かに起きます。「合成データで学習したらスコアが上がった」が、汚染による見せかけでないかを、独立した評価セットで確認します

実務での注意点

アンチパターン

チェックリスト

関連トピック

• ファインチューニングと蒸留 — FT・蒸留の判断と手法(本記事はそのデータ作成側)
• LLM の学習パイプライン(事前学習から選好調整まで) — 学習工程で挙動が決まる仕組み(前提)
• 評価データセットの構築と保守 — 評価用の合成データ(正本)と汚染防止
• LLM-as-a-Judge — 合成データのフィルタに使う判定器の設計
• ループ内フィードバックと検証器の設計 — 「検証は易しい」構造を作る検証器
• コンプライアンスとガバナンス — 教師モデル出力の利用規約・契約チェック

参考資料

• AI models collapse when trained on recursively generated data(Nature, 2024)  — 自己生成データでの反復学習が分布の裾を失わせるモデル崩壊の実証(アクセス日: 2026-07-08)

TODO・未確認事項