LLM の解釈可能性の基礎

この記事の目的

LLM の中身で何が起きているかを理解しようとする研究(解釈可能性、interpretability)の基本的な考え方 — プロービング・帰属・回路・重ね合わせと SAE — を、何が分かっていて何が未解決かの温度感つきで押さえられるようになります。「注意重みはモデルの説明か」といった論争を通じて、単一の手法や指標を根拠にモデルの内部を断定してはいけないという実務的な規律を得ることを目指します。

本記事は鮮度リスクの高いページです。 解釈可能性は研究フロンティアで動きが速く、各手法の有効性・安全監査への貢献は研究者・ラボの自己報告の段階にあります。本記事は主張を中立に紹介し、断定を避けます。

対象読者

• モデルのデバッグ・安全性監査に「中身を見る」技術が使えないか関心があるエンジニア・研究寄りの実務者
• 「注意重みを見れば説明できる」といった素朴な期待の限界を、研究の議論から理解したい人

前提知識

• Transformer アーキテクチャ詳解 — 残差ストリームTransformer の層をまたいで貫く共有の通信路という見方。各注意ヘッド・FFN は、正規化した入力を副層に通した結果をこのストリームに足し込む(読み書きする)。回路・特徴を分析する解釈可能性研究の基礎的な視点。・多頭注意(解釈の対象になる構造)
• 文脈内学習と記憶の科学 — 誘導ヘッド(回路研究の代表例)

本文

最終確認日: 2026-07-09 — 本記事が挙げる研究・手法の所在はこの日付時点のものです。各 URL・確認状況の詳細は、リポジトリ内 research/internals/interpretability.md の調査メモを参照してください。手法の有効性は各研究の自己報告であり、実務標準ではありません。

概要: 行動を見るか、機構を理解するか

モデルの理解には 2 つの水準があります。

• 行動の評価: 入力に対する出力を観察し、能力・癖を測る(Agent 評価の基礎)。外から見た振る舞いを扱う
• 機構の理解(解釈可能性): モデルの内部の計算が何をしているかを、人間が理解できる形に逆算しようとする。特に、内部を回路やアルゴリズムとして説明しようとする流れを機構的解釈可能性(mechanistic interpretability)と呼ぶ

本記事は後者の入口です。以下の手法は、いずれも「モデルの中で何が起きているか」を別の角度から探るもので、互いに補完的で、単独では決定的でないという前提で読みます。

プロービング: 表現に情報はあるか

プロービング(probing)は、モデルの中間層の表現の上に、独立に訓練した単純な分類器(線形プローブ)を載せ、「ある情報(品詞・構文・事実など)が表現の中に取り出せる形で存在するか」を測る手法です。

重要な限界があります。プローブが情報を取り出せることは、「その情報が表現にアクセス可能」であることを示すだけで、「その層が因果的にその計算を行っている」ことの証明ではありません。 強力なプローブは、モデルが実際には使っていない情報まで拾ってしまいます。この「アクセス可能性 ≠ 因果」という限界が、後述の回路研究が因果的な介入を重視する動機になっています。

帰属と「注意は説明か」論争

帰属(attribution)は、出力に対して入力のどの部分・内部のどの要素が効いたかを割り当てる試みです。ここで象徴的なのが「注意重みはモデルの説明になるか」という論争です。

• ある研究(Jain & Wallace, 2019)は、注意重みが勾配ベースの重要度としばしば無相関で、同じ予測を与える別の注意分布を作れることを示し、「注意重みを説明として扱うべきでない」と主張しました
• 別の研究(Wiegreffe & Pinter, 2019)は、「説明」の定義次第であり、モデル全体を考慮した検証をすれば注意にも意味がある、と反論しました

読み解くと: 「注意重みが直感的に『どこを見たか』に見えても、それをモデルの説明として断定するのは危うい」。この論争自体が、単一の帰属手法を根拠に内部を断定してはいけないことの好例です。ヒートマップの見た目に説得されないための予防接種として押さえます。

回路: 誘導ヘッドという発見

回路(circuits)研究は、特定の機能を担う内部の部品(注意ヘッド・特徴)の連なりを、因果的な介入(その部品を止める・すり替える)で特定しようとします。代表例が誘導ヘッド(induction heads)です。

• 「直前に A B というパターンが出たら、次に A が来たとき B を続ける」というコピー機構を担う注意ヘッド
• ある研究(Olsson et al., 2022)は、学習の途中で誘導ヘッドが形成される時期と、文脈内学習プロンプトの例だけから、重みを変えずにタスクを学ぶように振る舞う現象。理論仮説(暗黙のベイズ推定・学習アルゴリズムの模倣・誘導ヘッド)は決着していない。few-shot の例は正解の列挙より、出力の形式・分布の実演として効く。(文脈内学習と記憶の科学)能力の急な立ち上がりが一致すると観察・報告しました

ただし、これは「誘導ヘッドが文脈内学習の原因だと証明した」わけではなく、主要メカニズムの候補としての提案です。回路研究は残差ストリームという見方(各部品が共有通信路に読み書きする)を土台にしています。

重ね合わせと SAE: 特徴を疎に取り出す

ニューロン 1 個が 1 つの概念に対応していれば理解は簡単ですが、実際には1 個のニューロンが複数の無関係な概念を担う多義性(polysemanticity)が観察されます。これを説明する仮説が重ね合わせ(superposition)です。

• モデルは、次元数より多くの「特徴」を、スパース(疎)に使う前提で重ね合わせて格納しているのではないか、という仮説(Anthropic の Toy Models of Superposition が玩具モデルで提案)
• ここから、スパースオートエンコーダ(SAE)で表現を疎に分解し、ニューロンより解釈しやすい「特徴」を取り出す研究が進んでいます。活性 $\mathbf{x}$ を、少数だけが発火する特徴の重ね合わせとして書きます。

読み下し: 「活性を、特徴の方向 $\mathbf{d}_i$ に、疎な係数 $f_i$ で重ね合わせたものとして近似する(ほとんどの特徴は 0)」。Anthropic は製品モデルにこの手法を適用し、具体的・抽象的な特徴を抽出し、特徴を操作すると挙動が変わったと報告しています(Scaling Monosemanticity)。

ただし、これらはラボの自己報告です。 SAE が「モデルを解釈できた」「安全監査に使える」ことを意味するわけではありません。特徴の網羅性・評価方法・大規模モデルへのスケールには未解決問題が残る、というのが 2026 年時点の位置づけです。

実務への応用可能性と限界

解釈可能性への期待は、デバッグ(なぜこの出力が出たかを内部から説明する)や安全性監査(危険な能力・欺瞞の兆候を検出する)です。しかし現状は次のように読みます。

• ラボ横断のレビュー・オープン問題集(Bereska & Gavves 2024、Sharkey et al. 2025 など)は、機構的解釈可能性のスケーラビリティ・自動化・因果的検証の難しさを未解決課題として挙げています
• デバッグ・安全監査への応用は、「研究段階の期待」であって、確立した実務標準ではありません。「解釈可能性で安全を保証できる」という主張は、現時点では自己報告として扱います
• 実務では、内部の解釈より外から観測できる行動の評価・監視(可観測性とトレーシング・Agent 評価の基礎)が依然として主力です。解釈可能性はそれを置き換えるものではなく、補完する研究フロンティアとして位置づけます

この理解が効く場面

• 帰属の見た目に騙されない: 注意ヒートマップ・重要度スコアを「モデルの説明」として断定しない規律(LLM-as-a-Judgeの説明の扱いにも通じる)
• 安全主張の批判的読解: 「解釈可能性で安全を検証した」という主張を、研究段階の自己報告として割り引く(フロンティアセーフティの概観)
• 研究動向の入口: 回路・SAE の用語と限界を押さえ、Transformer Circuits Thread などの一次情報発信源そのものの情報(論文の原典・公式ドキュメント・公式ブログ・規格本文・法令)。解説・まとめ(二次情報)と区別し、根拠は一次情報に置くのが情報リテラシーの基本。二次情報は「存在を知る」までに使い、一次まで遡って確かめる。を自分で追える
• 機構的な見方の獲得: 残差ストリーム・誘導ヘッドという内部の見方が、モデルの挙動を「魔法」でなく機構として捉える助けになる

実務での注意点

アンチパターン

チェックリスト

関連トピック

• Transformer アーキテクチャ詳解 — 残差ストリーム・多頭注意(解釈の対象構造)
• 文脈内学習と記憶の科学 — 誘導ヘッドと文脈内学習の対応
• LLM の学習パイプライン — 幻覚モデルが事実でない内容をもっともらしく生成する現象。「もっともらしい続きを生成する」という学習目的の自然な帰結であり、対策は指示の強化ではなく、根拠の外部供給(RAG)・出典要求・検証という構造側にある。・迎合など「行動の癖」の由来(本記事は内部側)
• フロンティアセーフティの概観 — 安全主張を批判的に読む(解釈可能性の応用への期待と現実)
• 可観測性とトレーシング — 外から観測する行動の監視(内部解釈の実務的な代替・主力)
• Agent 評価の基礎 — 行動の評価という水準

参考資料

• In-context Learning and Induction Heads  — 誘導ヘッドと文脈内学習(Olsson et al., 2022、アクセス日: 2026-07-09)
• Zoom In: An Introduction to Circuits  — 回路研究の枠組み(特徴・回路・普遍性)(Olah et al., 2020、アクセス日: 2026-07-09)
• Toy Models of Superposition  — 重ね合わせ仮説(Elhage et al., 2022、アクセス日: 2026-07-09)
• Towards Monosemanticity: Decomposing Language Models With Dictionary Learning  — SAE による特徴抽出(Anthropic, 2023、アクセス日: 2026-07-09)
• Scaling Monosemanticity  — 製品モデルへの SAE 適用(Anthropic, 2024、アクセス日: 2026-07-09)
• Understanding intermediate layers using linear classifier probes  — 線形プローブの原典(Alain & Bengio, 2016、アクセス日: 2026-07-09)
• Attention is not Explanation  — 注意=説明への批判(Jain & Wallace, 2019、アクセス日: 2026-07-09)
• Attention is not not Explanation  — その反論(Wiegreffe & Pinter, 2019、アクセス日: 2026-07-09)
• Mechanistic Interpretability for AI Safety — A Review  — 中立レビュー(限界・課題)(Bereska & Gavves, 2024、アクセス日: 2026-07-09)
• Open Problems in Mechanistic Interpretability  — 未解決問題集(Sharkey et al., 2025、アクセス日: 2026-07-09)

TODO・未確認事項

変わりやすい項目(定点観測)