事前学習とスケーリング則

この記事の目的

事前学習の目的関数(次トークン予測 = 交差エントロピー)と、それを測るパープレキシティの意味を数式で理解し、スケーリング則の系譜(パラメータ偏重 → 計算最適 → 推論時計算)を追えるようになります。あわせて、データ側の影響(量・品質・混合・繰り返し)と、「創発的能力」をめぐる論争(指標の取り方による見かけ説を含む)を整理し、モデルの規模・データ・計算の関係を、投資判断や能力の見積りの「なぜ」に接続できる状態を目指します。

数式は読み下しを添え、読み飛ばしても本文が成立するようにします。分散学習インフラ(並列化の実装)は本記事のスコープ外です(GPU・AI ハードウェアの基礎側)。

対象読者

• LLM の学習パイプラインを読み、事前学習の「なぜ」を目的関数とスケーリング則で理解したいエンジニア
• モデルの規模・データ量・計算コストの関係を、能力見積りや自社モデル投資の判断につなげたい人

前提知識

• LLM の学習パイプライン — 事前学習 → SFT → 選好調整複数の応答への人間(または AI)の選好から「良い応答」の基準を学ばせる LLM の学習工程(RLHF・DPO など)。有用さ・無害さ・トーンを形作る一方、迎合(sycophancy)や過剰な拒否の由来にもなる。の工程の直感側(必読)
• LLM はどのようにテキストを生成するか — 次トークン予測という基本形式
• Transformer アーキテクチャ詳解 — 学習される構造・パラメータ数 $N$ の中身

本文

概要: 事前学習は「次トークン予測」の一点

事前学習は、大量テキストで次のトークンを当てる課題だけを解かせる工程です。この単純な目的から言語能力と知識が創発します(LLM の学習パイプライン)。本記事は、その目的関数を数式で押さえ、「モデルを大きく・データを増やすとどれだけ賢くなるか」を定量化したスケーリング則を軸に、事前学習の内部を掘ります。

次トークン予測の目的関数

学習は、系列 $x_1, \dots, x_T$ の各位置で「直前までを条件に次のトークンの確率」を最大化します。損失は交差エントロピー(平均負対数尤度)です。

読み下し: 「各位置で、正解トークンにモデルが与えた確率の対数を取り、その平均にマイナスを付けたもの。正解を高い確率で当てるほど損失が小さい」。この損失を、勾配降下で全パラメータ $\theta$ について下げ続けるのが学習です。

パープレキシティ(perplexity)は、この損失を指数に乗せた指標です。

読み下し: 「損失の指数。直感的には『モデルが次のトークンで平均何択くらい迷っているか』の有効な選択肢数」。PPL が小さいほど予測が鋭い。ただし PPL はトークナイザテキストとトークン列を相互変換する部品。分割のされ方は言語・内容で大きく変わり、モデル(世代)ごとに異なるため、コスト・コンテキストの見積りは公式のカウント手段による実測を正とする。・データに依存するため、異なるトークナイザ・異なる評価データ間で PPL を直接比較してはいけません(トークナイザとトークン経済)。

スケーリング則の系譜

スケーリング則(scaling laws)は、損失がモデルサイズ $N$(パラメータ数)・データ量 $D$(トークン数)・計算量 $C$ に対して、滑らかなべき乗則で下がることを経験的に示したものです。おおまかには次の形です。

読み下し: 「損失は、ある下限 $L_\infty$ に、モデルサイズ $N$ を大きくするほど小さくなる項を足したもの。$N$ を 10 倍すると、下限からの差 $L-L_\infty$ が一定の割合で小さくなる(収穫逓減)」。データ量 $D$・計算量 $C$ についても同様のべき乗則が成り立ちます。系譜として 3 段階を押さえます。

• パラメータ偏重の初期則(Kaplan ら, 2020): 「損失は主にモデルサイズで決まり、データより $N$ を優先して大きくすべき」と読まれ、巨大モデル競争を後押ししました
• 計算最適(Chinchilla, 2022): 固定の計算予算 $C$ の下で損失を最小化する $N$ と $D$ の配分を調べ、計算予算を増やすときには $N$ と $D$ をほぼ同じ割合で一緒に増やすべき、とした修正。当時の巨大モデルは「パラメータが大きすぎ、データが足りない」状態だったと示しました。実務的な目安として「パラメータ数に見合うだけの学習トークンが要る」という理解が定着します
• 推論時計算へのスケーリング(以降): 学習側だけでなく、推論時に『考える時間』(推論トークン推論モデルが答える前に生成する中間の思考のトークン。通常コストとして課金され、生成時間を延ばす。「考える時間」はタダではなく、思考量とコスト・レイテンシは直結する。)を増やすと性能が上がるという軸が加わります(推論モデル)。スケーリングは「学習の計算」から「学習 + 推論の計算」へ広がりました

図を元の大きさで表示

図の中をスクロールして読めます。キーボードでは図の領域へ Tab で移動し、矢印キーを使います。読み終わったら、この見出しをもう一度選ぶと閉じます。

係数(べき乗の指数や定数)は、データ・アーキテクチャ・トークナイザに依存する経験則であり、普遍定数ではありません。特定の数値を絶対視せず、「大きくすると滑らかに下がるが収穫逓減する」という形と、「$N$ と $D$ はバランスさせる」という含意を押さえます。

データ側: 量・品質・混合・繰り返し

スケーリング則は「データ量 $D$」を 1 つの数で扱いますが、実際は中身が効きます。

• 品質とフィルタリング: 低品質・重複データはトークン数を水増しするだけで損失を下げにくい。重複除去・品質フィルタが効きます
• 混合(データミックス): Web・書籍・コード・多言語などの配合比が能力の形を決めます(コードを混ぜると推論が上がる等の観察)。配合は設計判断です
• 繰り返し(エポック)の限界: 良質データが枯渇する「データ制約」下では同じデータを繰り返しますが、繰り返しの価値は逓減し、やがて過学習に転じます。データを増やせない領域でのスケーリングには別の則が要ります
• 汚染: 評価データが学習に混入すると、ベンチマークが不当に高く出ます(エージェントベンチマークの全体像)

「パラメータを増やせば賢くなる」以前に、見合うだけの良質なデータがあるかが律速になります。これは自社モデルを持つかの判断で「データ優位があるか」を問う理由でもあります。

創発的能力の論争

規模を上げると、小さいモデルにはなかった能力がある閾値で突然現れるように見える現象が「創発的能力(emergent abilities)」として報告されました(Wei ら, 2022)。一方で、この「突然」は指標の取り方の産物だという反論があります(Schaeffer ら, 2023)。

• 「完全一致で正解/不正解」のような不連続な指標を使うと、なだらかな改善が閾値で急変したように見える
• 連続的な指標(部分点・対数確率)で測ると、同じ能力が滑らかに立ち上がることが多い

読み下すと: 「能力が本当に相転移的に出現するのか、測り方が階段状に見せているだけなのかは決着していない」。実務的な教訓は、能力の有無を単一の閾値指標で断じないこと、そして自社タスクでは連続的な指標も併用して評価することです(評価データセットの構築と保守)。

学習の計算量の目安

学習に要する計算量 $C$(FLOPs)は、パラメータ数 $N$ と学習トークン数 $D$ から概算できます。

読み下し: 「学習の総計算量は、おおよそパラメータ数 × 学習トークン数 × 6(順伝播 + 逆伝播の係数)」。この式から、$N$ か $D$ を増やすと計算量(FLOPs)が比例して増えることがわかります。固定した $C$ の下では、損失を最小化する $N$ と $D$ の配分を選びます。$N$ と $D$ をほぼ同じ割合で増やすという含意は、計算予算を増やす場合の話です。実際の学習コストは並列化効率・ハードウェアで大きく変わるため、この式は桁の当たりを付けるためのものです(GPU・AI ハードウェアの基礎・AI の環境負荷とグリーン AI)。

この理解が効く場面

• 能力の見積り: 「規模を上げれば滑らかに良くなるが収穫逓減する」「$N$ と $D$ はバランスが要る」という形が、次世代モデルへの期待値を現実的にする
• 自社モデル投資の判断: データ優位(良質な $D$)がなければ規模を上げても効かない、という律速(自社モデルを持つかの判断)
• ベンチマークの読み方: 創発の「突然さ」や汚染の影響を割り引いて読む(エージェントベンチマークの全体像)
• 学習コストの桁感: $C \approx 6ND$ で計算量・コスト・環境負荷の当たりを付ける(AI の環境負荷とグリーン AI)

実務での注意点

アンチパターン

チェックリスト

関連トピック

• LLM の学習パイプライン — 事前学習 → SFT「指示 → 望ましい応答」の模範例で LLM を追加学習させる工程。指示追従・形式・文体を調整し、新しい事実も学習し得るが、正確な再現や容易な更新は保証されない。鮮度・出典・権限が重要な知識は検索との比較・併用を検討する。 → 選好調整の直感側(本記事の上位)
• Transformer アーキテクチャ詳解 — 学習される構造・パラメータ数 $N$ の内訳
• アラインメントの理論 — 事前学習・SFT の次に来る選好調整(RLHF人間の選好から報酬モデルを学び、KL 正則化付きでその報酬を最大化するよう方策(モデル)を最適化する選好調整の枠組み。有用さ・無害さ・トーンを形作る一方、迎合や報酬ハッキングの由来でもある。/DPO報酬モデルの学習と強化学習の 2 段を、選好データから直接 1 段で最適化する選好調整の手法。「報酬モデルは方策に暗黙に含まれる」ことを使い、正規化定数を消去して選好から直接学ぶ。実装が軽い一方、明示的報酬モデルがないぶん細かい制御は RLHF に劣る。)の理論
• LLM の能力と限界の由来 — 能力の見積り(創発・限界の実務側)
• 推論モデル(考える時間を使う LLM) — 推論時計算のスケーリング
• 「自社モデルを持つか」の判断 — データ優位・継続事前学習既製モデルを大量のドメインコーパスで追加的に事前学習し、特定分野の言語・知識に適応させる手法。FT より重く、「自社モデルを持つ」段階の 1 つ。ベース世代の交代のたびに追従コストがかかる。の投資判断
• AI の環境負荷とグリーン AI — 学習計算量の環境・コスト側
• エージェントベンチマークの全体像 — 創発・汚染を割り引いた評価

参考資料

• Scaling Laws for Neural Language Models  — べき乗則スケーリングの原論文(Kaplan et al., 2020、アクセス日: 2026-09-24)
• Training Compute-Optimal Large Language Models  — 計算最適(Chinchilla)。計算予算に応じた $N$ と $D$ の配分(Hoffmann et al., 2022、アクセス日: 2026-09-24)
• Emergent Abilities of Large Language Models  — 創発的能力の報告(Wei et al., 2022、アクセス日: 2026-07-09)
• Are Emergent Abilities of Large Language Models a Mirage?  — 指標の取り方による見かけ説(Schaeffer et al., 2023、アクセス日: 2026-07-09)
• Scaling Data-Constrained Language Models  — データ制約下の繰り返しの限界(Muennighoff et al., 2023、アクセス日: 2026-07-09)

TODO・未確認事項