Skip to Content
Docs03. 実装小型言語モデル(SLM)の活用戦略
中級model-selectionslmcost-management更新: 2026-09-10この記事の誤りを報告

この記事の音声は準備中です。

音声の一覧・再生リストへ

小型言語モデル(SLM)の活用戦略

この記事の目的

「大きいモデルで全部やる」から「小さいモデルを賢く配る」設計へ移行する判断ができるようになります。小型言語モデル(SLM: Small Language Model)の性格を見極め、SLM ファースト・ルーティング・タスク特化で、品質を保ちながらコストとレイテンシを下げる設計を持ち帰れる状態がゴールです。

対象読者

  • 上位モデルで作った Agent のコスト・レイテンシに悩み、小型化の余地を探しているエンジニア
  • 分類・抽出・判定などの部品を、上位モデルから小型モデルへ移せないか検討しているテックリード

前提知識

本文

概要: 分担と「小型を活かす」

対象正本本記事
モデル選定の一般論(判断軸・ティア混在)モデル選定ガイド—
蒸留上位モデル(教師)の出力を学習データにして、小型モデル(生徒)をファインチューニングする手法。品質が確認できた特定タスクを、小型モデルで安く速く量産するためのコスト削減手段。(上位 → 小型への知識移転)ファインチューニングと蒸留—
モデルカタログ(SLM の顔ぶれ)主要 LLM の全体像—
SLM を活かす戦略の詳解本記事SLM ファースト・ルーティング・タスク特化・評価

「どのモデルを選ぶか」の一般論は モデル選定ガイド が正本です。本記事はその中の小型モデルを戦略的に使う部分を掘り下げます。なお SLM を端末・エッジで動かす実行環境の話は本記事では扱わず(モデル戦略に絞る)、選択肢の顔ぶれは 主要 LLM の全体像 に委ねます。

SLM の性格: 得意領域と品質の境界

SLM を活かす第一歩は、どの入力まで品質基準を満たすかを見極めることです。小型言語モデル(small language model: SLM)の得意不得意は、パラメータ数だけでなく学習データ・推論方法・量子化モデルの重みを低い数値精度(INT8・INT4 等)で表現してサイズを縮める手法。VRAM とメモリ帯域の負荷が下がり、同じ GPU により大きいモデル・多い同時実行を載せられる。精度を下げるほど品質が落ちうるため、量子化後の品質は自社タスクで検証してから使う。にも依存します。

  • 得意: 定型的で範囲の狭いタスク(分類・抽出・整形・短い応答・ルールに沿った判定)。パターンが明確で、深い推論が要らない仕事
  • 重点的に検証する領域: 多段の推論、広い世界知識、長い文脈の統合、曖昧な指示の解釈。品質が急に落ちる境界があるか、緩やかに変わるかも含めてモデルごとに測ります
  • 見極めが肝: 平均だけでなく、移管するタスク・入力群で品質基準を満たすかを評価します。小型という分類だけで、特定タスクへの適性は決まりません

SLM ファースト設計

既定を小さくする構成を選択肢として比較します。単一の上位モデルを使う構成より、品質・費用・応答時間が改善する場合に採用します。

  • 小さいモデルを既定にする: まず SLM で試し、品質が足りないタスク・入力だけを上位モデルに昇格させます。「全部を上位モデルで」の逆です
  • 昇格のトリガーを決める: 「SLM が失敗した/確信が低い/検証を通らなかった」ときに上位へ回します(後述のルーティング)
  • 全体の費用と応答時間で判断する: 価格・サービング環境・出力長によって、小型が必ず安い・速いとは限りません。SLM の後に上位モデルを呼ぶ構成では二段分の費用と時間がかかります。最初から上位へ送るべき入力も分け、ルーターを含む総費用と p95/p99 を比較します(コスト管理・レイテンシ最適化)

ルーティング: 難易度で振り分ける

SLM ファーストの核がルーティング — 入力の難易度に応じてモデルを振り分ける仕組みです(モデル選定ガイドのティア混在設計の実践)。

タスク特化: 「SLM で十分」な部品を切り出す

Agent の中には、上位モデルが不要な部品が多く隠れています。

FT・蒸留との組み合わせ

SLM を「得意領域」で上位モデルに迫らせる手段が、ファインチューニング既存モデルの重みを自分のデータで追加調整すること。形式・文体・ドメイン特化の挙動に加え事実知識も学習し得るが、正確な再現や容易な更新は保証されない。評価・データ準備・再学習の費用を、プロンプト改善・RAG・モデル変更と比較して選ぶ。と蒸留です(ファインチューニングと蒸留が判断・手法の正本)。

  • タスク特化の FT: 狭いタスクに特化させると、SLM が汎用の上位モデルに匹敵しうる領域があります
  • 蒸留: 上位モデル(教師)の出力で SLM(生徒)を訓練し、特定タスクの品質を移します。「品質が確認できたタスクを、安く速く量産する」手段です(学習データの作り方は 学習用合成データの実務)
  • 最後の手段として: プロンプト・ルーティングで届くなら、FT・蒸留の前にそちらを尽くします。FT はデータ作成・維持のコストを伴います

評価: タスク別の品質ゲート

SLM 化の可否は、タスクごとに評価して決めます。

  • タスク別の品質ゲートを設ける: 「このタスクを SLM に移して、品質が基準を割らないか」を評価セットで確かめます(Agent 評価の基礎)。全体の平均でなく、移すタスク単位で見ます
  • 品質の境界を評価で見つける: 難しいケース・エッジケースを評価に含め、品質基準を割る入力群を見つけてルーティングの昇格条件を調整します
  • コストと品質を同時に見る: SLM 化で下がったコスト・レイテンシと、品質の変化を並べて判断します。「コストは半分だが品質が基準割れ」なら移せません

実務での注意点

アンチパターン

  • 上位モデルだけを費用・品質の比較なしで使い続ける → 定型部品の改善機会を見落とす → SLM やルーティングを比較し、品質基準と総費用の両方を満たす場合に移す
  • SLM の平均品質だけで採否を決める → 基準を割る入力群を見落とす → タスク・入力群別に評価し、品質を満たす範囲を見極める
  • ルーティングのオーバーヘッドを無視する → 難易度推定・検証のコストが節約を食い潰す → 振り分けコスト込みで全体のコスト・レイテンシを測る
  • プロンプトで届くのに FT に飛びつく → データ作成・維持コストを先に払ってしまう → プロンプト・ルーティングを尽くしてから FT・蒸留を検討する
  • 移したタスクの品質を測らずに SLM 化する → 品質が静かに落ちる → タスク別の品質ゲートで基準割れを確認する

チェックリスト

  • SLM の得意領域と品質基準を満たす範囲を、タスク・入力群別に評価した
  • SLM を既定にする構成と上位モデルを直接使う構成を、品質・総費用・応答時間で比較した
  • 昇格のトリガー(確信度・検証・難易度推定)を決めている
  • ルーティングのオーバーヘッド込みで全体のコスト・レイテンシを測っている
  • 分類・抽出・ガードレール判定など「SLM で十分」な部品を切り出した
  • FT・蒸留の前に、プロンプト・ルーティングで届かないかを確認した
  • SLM 化する各タスクに品質ゲートを設け、基準割れを確認している

関連トピック

参考資料

TODO・未確認事項

学習用合成データの実務ローカル・オンデバイス LLM の実務