この記事の音声は準備中です。
音声の一覧・再生リストへ新興攻撃パターンの体系(記憶・知識源・ツール・マルチエージェント)
この記事の目的
基本形(直接・間接のプロンプトインジェクションモデルへの入力に紛れ込ませた指示で、開発者の意図した挙動を上書きする攻撃。ユーザー入力による直接型と、Agent が読む外部コンテンツ経由の間接型がある。)の先にある攻撃面 — 記憶・知識源・ツール・エージェント間 — を脅威モデルに組み込み、対策を既存防御にマッピングできるようになります。各パターンが「何を悪用するか」を防御設計に必要な粒度で理解し、ガードレール・隔離・出所検証・Human-in-the-Loop人間の判断(事前承認・事後レビュー・エスカレーション・監視と中断)を Agent の実行フローに組み込む設計。 のどれで守るかを判断できる状態を目指します。基本形と防御原則は プロンプトインジェクション が正本で、本記事はその発展形の体系化です。
本記事は防御側の視点に徹します。攻撃の仕組みは防御設計に必要な範囲で説明し、実行可能な攻撃例・ペイロードは記載しません(演習は Agent のレッドチーミング)。
対象読者
- 基本的なインジェクション対策は済み、記憶・RAG・ツール・マルチエージェント複数の Agent ループが、それぞれ独立したコンテキストを持って分担・協調する構成。の攻撃面まで脅威モデルシステムの攻撃面を棚卸しし、脅威を列挙・分類してリスクを優先順位付けする作業とその成果物。構成変更のたびに見直す。を広げたいセキュリティ担当
- 複数の入力経路・エージェントを持つシステムで、どこから汚染が入りうるかを体系的に押さえたいアーキテクト
前提知識
- プロンプトインジェクション — 直接・間接インジェクションの基本形と防御原則(本記事の前提)
- Agent の脅威モデル概観 — 攻撃面の全体分類(本記事はその発展層)
本文
概要: 「指示になりうる経路」が増えている
プロンプトインジェクションの本質は、モデルに渡るあらゆる入力が指示になりうることです(プロンプトインジェクション)。Agent が高度化し、記憶・知識源・ツール・他エージェントと繋がるほど、指示が紛れ込みうる経路が増えます。本記事は、その発展形を 5 類型で整理し、各々を既存防御にマッピングします。新しい原理ではなく、同じ原理が新しい経路で現れると捉えるのが要点です。
パターン①: 記憶への注入(メモリポイズニング)
- 何を悪用するか: エージェントの長期記憶に、悪意ある指示・偽の事実を残し、後日のセッションで発火させる型です(長期記憶の実装の防御面)。その場でなく時間差で効くため、気づきにくいのが特徴です
- なぜ厄介か: 記憶は「信頼できる自分の情報」として扱われがちで、都度の入力より警戒が薄くなります。汚染された記憶が、後のあらゆるセッションに影響します
- 防御の方向: 記憶に書き込む内容の検証・出所の記録、記憶を読み出す際も外部入力と同様に扱う(無条件に信頼しない)、記憶の権限分離(長期記憶の実装)
パターン②: 知識源ポイズニング(RAG 経由)
- 何を悪用するか: RAG外部の知識ソースを検索し、結果を LLM の入力に加えて回答の根拠にする手法。検索の判断を Agent に任せる構成は Agentic RAG と呼ばれる。 が参照する知識源(ドキュメント・DB)に細工された内容が混入し、検索・生成を通じて指示・偽情報が入る型です(RAG 実装パターンの間接インジェクション面)
- なぜ厄介か: 知識源は「正しい参照情報」として扱われます。取り込みの経路(ユーザー投稿・外部データ・共有ドキュメント)が広いほど、汚染の入口が増えます(AI サプライチェーンセキュリティのデータ面と連続)
- 防御の方向: 知識源の出所管理と取り込み時の検証、権限反映検索(見てよい人だけに見せる)、検索結果を外部入力として扱いガードレールモデルの判断の外側でコードとして強制される制御。入力・出力・アクションの 3 層に配置し、プロンプトでの指示(お願い)と区別される。を通す(ガードレール)
パターン③: ツール定義・ツール結果経由の注入
- 何を悪用するか: ツールの説明文(定義)やツールの返す結果・エラーメッセージが、モデルへの指示として作用する型です。ツールの説明・出力もモデルのコンテキストに入るため、そこに指示が紛れると効きます(ツール定義の設計)
- なぜ厄介か: ツールの出力は「システムの一部」として信頼されがちですが、外部 API・外部データを返すツールの結果は外部入力です。エラーメッセージすら経路になりえます
- 防御の方向: ツールの定義・結果も信頼できない入力として扱う、ツール結果をガードレールに通す、ツールの出所検証(AI サプライチェーンセキュリティ)、権限の最小化(ツール権限設計とサンドボックス)
パターン④: マルチエージェント伝播
- 何を悪用するか: 1 体のエージェントの汚染が、委譲・共有コンテキストを通じて他のエージェントへ広がる型です(シングルエージェントとマルチエージェント)。あるエージェントが受けた注入が、別のエージェントへの指示として伝播します
- なぜ厄介か: エージェント間の通信は「内部で信頼できる」と扱われがちです。1 点の汚染が、系全体に波及しえます。委譲の連鎖が長いほど、追跡も難しくなります
- 防御の方向: エージェント間の受け渡しも信頼境界として扱う、各エージェントの権限を最小化し汚染の波及を限定(ツール権限設計とサンドボックス)、共有コンテキストに入る内容の検証、重要な委譲に人の確認(Human-in-the-Loop 設計)
パターン⑤: 条件起動型
- 何を悪用するか: 特定の条件でのみ発火し、通常の検査時には無害に見える型です。時間・入力・状態など、ある条件が揃ったときだけ悪意ある挙動を示し、レビュー・テストをすり抜けようとします
- なぜ厄介か: 「テストでは問題なかった」が通用しません。検査時と実運用時で挙動が変わるため、静的な確認だけでは見つけにくいです(AI サプライチェーンセキュリティの「導入後に挙動が変わる」問題とも通じます)
- 防御の方向: 単発の検査に頼らない継続監視(可観測性とトレーシング)、多様な条件での評価(Agent 評価の基礎)、汚染資産の受け入れプロセス(AI サプライチェーンセキュリティ)
対策マップ: 既存防御へのマッピング
各パターンは新しい防御を要するのではなく、既存防御を新しい経路に適用することで守ります。
| 攻撃パターン | 主に効く既存防御 |
|---|---|
| ①記憶への注入 | 記憶の出所記録・書き込み検証・権限分離 / 記憶も外部入力として扱う |
| ②知識源ポイズニング | 出所管理・取り込み検証 / 権限反映検索 / ガードレール |
| ③ツール経由の注入 | ツール定義・結果を信頼しない / ガードレール / 権限最小化 |
| ④マルチエージェント伝播 | エージェント間を信頼境界に / 権限最小化 / Human-in-the-Loop |
| ⑤条件起動型 | 継続監視 / 多様な条件での評価 / サプライチェーン受け入れ |
貫く原則は 2 つです。(1) モデルに渡るあらゆる入力(記憶・知識源・ツール結果・他エージェント)を信頼できない入力として扱う、(2) 権限を最小化し、汚染の波及を限定する。この 2 原則を各経路に適用するのが、発展形への対処です。
実務での注意点
アンチパターン
- 記憶・知識源・ツール結果を「信頼できる内部情報」として扱う → 経由した指示・偽情報が素通りする → すべて外部入力としてガードレールを通す
- その場のインジェクションだけ対策する → 記憶注入・条件起動型の時間差攻撃を見逃す → 継続監視と記憶の検証を組み込む
- エージェント間通信を無条件に信頼する → 1 体の汚染が系全体に伝播する → エージェント間を信頼境界とし、権限を最小化する
- 単発のテスト・レビューで安全を判断する → 条件起動型がすり抜ける → 多様な条件での評価と運用時の監視を併用する
- 各攻撃に個別の対策を作る → 防御が散らかり抜けが出る → 「入力を信頼しない・権限を最小化」の 2 原則を各経路に適用する
チェックリスト
- 記憶・知識源・ツール結果・エージェント間通信を、すべて信頼できない入力として扱っている
- 長期記憶への書き込みを検証し、記憶を無条件に信頼していない
- 知識源の出所管理・取り込み検証・権限反映検索RAG の検索段で、質問したユーザーのアクセス権を必須フィルタとして反映し、権限外の文書を候補から構造的に除外する仕組み。生成段で伏せる方式は権限外の内容がプロンプトに載った時点で漏えいリスクになるため、検索基盤の層で強制する。をしている
- ツールの定義・結果・エラーメッセージもガードレールを通している
- エージェント間を信頼境界とし、各エージェントの権限を最小化している
- 条件起動型に備え、単発検査でなく継続監視・多様な条件での評価をしている
- 各攻撃パターンを既存防御にマッピングし、抜けを確認した
関連トピック
- プロンプトインジェクション — 直接・間接インジェクションの基本形と防御原則(本記事の前提)
- Agent の脅威モデル概観 — 攻撃面の全体分類
- AI サプライチェーンセキュリティ — 汚染資産が入る上流の受け入れ管理
- 長期記憶の実装 — 記憶注入の防御面・権限反映検索
- RAG 実装パターン — 知識源ポイズニングの経路
- ツール権限設計とサンドボックス — 権限最小化による波及の限定
- ガードレール — 入出力チェックによる防御
- Human-in-the-Loop 設計 — 重要な委譲・操作への人の確認
- Agent のレッドチーミング — これらのパターンを演習で検証する
参考資料
- OWASP Top 10 for LLM Applications — プロンプトインジェクション・データポイズニング等の LLM 固有リスク一覧(アクセス日: 2026-07-08)
- MITRE ATLAS — AI システムへの攻撃手法の体系的分類(アクセス日: 2026-07-08)
TODO・未確認事項
なし