Skip to Content
Docs06. セキュリティ新興攻撃パターンの体系(記憶・知識源・ツール・マルチエージェント)

この記事の音声は準備中です。

音声の一覧・再生リストへ

新興攻撃パターンの体系(記憶・知識源・ツール・マルチエージェント)

この記事の目的

基本形(直接・間接のプロンプトインジェクションモデルへの入力に紛れ込ませた指示で、開発者の意図した挙動を上書きする攻撃。ユーザー入力による直接型と、Agent が読む外部コンテンツ経由の間接型がある。)の先にある攻撃面 — 記憶・知識源・ツール・エージェント間 — を脅威モデルに組み込み、対策を既存防御にマッピングできるようになります。各パターンが「何を悪用するか」を防御設計に必要な粒度で理解し、ガードレール・隔離・出所検証・Human-in-the-Loop人間の判断(事前承認・事後レビュー・エスカレーション・監視と中断)を Agent の実行フローに組み込む設計。 のどれで守るかを判断できる状態を目指します。基本形と防御原則は プロンプトインジェクション が正本で、本記事はその発展形の体系化です。

本記事は防御側の視点に徹します。攻撃の仕組みは防御設計に必要な範囲で説明し、実行可能な攻撃例・ペイロードは記載しません(演習は Agent のレッドチーミング)。

対象読者

前提知識

本文

概要: 「指示になりうる経路」が増えている

プロンプトインジェクションの本質は、モデルに渡るあらゆる入力が指示になりうることです(プロンプトインジェクション)。Agent が高度化し、記憶・知識源・ツール・他エージェントと繋がるほど、指示が紛れ込みうる経路が増えます。本記事は、その発展形を 5 類型で整理し、各々を既存防御にマッピングします。新しい原理ではなく、同じ原理が新しい経路で現れると捉えるのが要点です。

パターン①: 記憶への注入(メモリポイズニング)

  • 何を悪用するか: エージェントの長期記憶に、悪意ある指示・偽の事実を残し、後日のセッションで発火させる型です(長期記憶の実装の防御面)。その場でなく時間差で効くため、気づきにくいのが特徴です
  • なぜ厄介か: 記憶は「信頼できる自分の情報」として扱われがちで、都度の入力より警戒が薄くなります。汚染された記憶が、後のあらゆるセッションに影響します
  • 防御の方向: 記憶に書き込む内容の検証・出所の記録、記憶を読み出す際も外部入力と同様に扱う(無条件に信頼しない)、記憶の権限分離(長期記憶の実装)

パターン②: 知識源ポイズニング(RAG 経由)

パターン③: ツール定義・ツール結果経由の注入

  • 何を悪用するか: ツールの説明文(定義)やツールの返す結果・エラーメッセージが、モデルへの指示として作用する型です。ツールの説明・出力もモデルのコンテキストに入るため、そこに指示が紛れると効きます(ツール定義の設計)
  • なぜ厄介か: ツールの出力は「システムの一部」として信頼されがちですが、外部 API・外部データを返すツールの結果は外部入力です。エラーメッセージすら経路になりえます
  • 防御の方向: ツールの定義・結果も信頼できない入力として扱う、ツール結果をガードレールに通す、ツールの出所検証(AI サプライチェーンセキュリティ)、権限の最小化(ツール権限設計とサンドボックス)

パターン④: マルチエージェント伝播

  • 何を悪用するか: 1 体のエージェントの汚染が、委譲・共有コンテキストを通じて他のエージェントへ広がる型です(シングルエージェントとマルチエージェント)。あるエージェントが受けた注入が、別のエージェントへの指示として伝播します
  • なぜ厄介か: エージェント間の通信は「内部で信頼できる」と扱われがちです。1 点の汚染が、系全体に波及しえます。委譲の連鎖が長いほど、追跡も難しくなります
  • 防御の方向: エージェント間の受け渡しも信頼境界として扱う、各エージェントの権限を最小化し汚染の波及を限定(ツール権限設計とサンドボックス)、共有コンテキストに入る内容の検証、重要な委譲に人の確認(Human-in-the-Loop 設計)

パターン⑤: 条件起動型

  • 何を悪用するか: 特定の条件でのみ発火し、通常の検査時には無害に見える型です。時間・入力・状態など、ある条件が揃ったときだけ悪意ある挙動を示し、レビュー・テストをすり抜けようとします
  • なぜ厄介か: 「テストでは問題なかった」が通用しません。検査時と実運用時で挙動が変わるため、静的な確認だけでは見つけにくいです(AI サプライチェーンセキュリティの「導入後に挙動が変わる」問題とも通じます)
  • 防御の方向: 単発の検査に頼らない継続監視(可観測性とトレーシング)、多様な条件での評価(Agent 評価の基礎)、汚染資産の受け入れプロセス(AI サプライチェーンセキュリティ)

対策マップ: 既存防御へのマッピング

各パターンは新しい防御を要するのではなく、既存防御を新しい経路に適用することで守ります。

攻撃パターン主に効く既存防御
①記憶への注入記憶の出所記録・書き込み検証・権限分離 / 記憶も外部入力として扱う
②知識源ポイズニング出所管理・取り込み検証 / 権限反映検索 / ガードレール
③ツール経由の注入ツール定義・結果を信頼しない / ガードレール / 権限最小化
④マルチエージェント伝播エージェント間を信頼境界に / 権限最小化 / Human-in-the-Loop
⑤条件起動型継続監視 / 多様な条件での評価 / サプライチェーン受け入れ

貫く原則は 2 つです。(1) モデルに渡るあらゆる入力(記憶・知識源・ツール結果・他エージェント)を信頼できない入力として扱う、(2) 権限を最小化し、汚染の波及を限定する。この 2 原則を各経路に適用するのが、発展形への対処です。

実務での注意点

アンチパターン

  • 記憶・知識源・ツール結果を「信頼できる内部情報」として扱う → 経由した指示・偽情報が素通りする → すべて外部入力としてガードレールを通す
  • その場のインジェクションだけ対策する → 記憶注入・条件起動型の時間差攻撃を見逃す → 継続監視と記憶の検証を組み込む
  • エージェント間通信を無条件に信頼する → 1 体の汚染が系全体に伝播する → エージェント間を信頼境界とし、権限を最小化する
  • 単発のテスト・レビューで安全を判断する → 条件起動型がすり抜ける → 多様な条件での評価と運用時の監視を併用する
  • 各攻撃に個別の対策を作る → 防御が散らかり抜けが出る → 「入力を信頼しない・権限を最小化」の 2 原則を各経路に適用する

チェックリスト

関連トピック

参考資料

  • OWASP Top 10 for LLM Applications  — プロンプトインジェクション・データポイズニング等の LLM 固有リスク一覧(アクセス日: 2026-07-08)
  • MITRE ATLAS  — AI システムへの攻撃手法の体系的分類(アクセス日: 2026-07-08)

TODO・未確認事項

なし