Skip to Content
Docs06. セキュリティセクション概要

06-security — セキュリティ

Agent 固有の脅威と対策を扱うセクションです。従来の Web セキュリティとの差分(自然言語による攻撃、ツール実行権限、自律性のリスク)に焦点を当てます。

この章の記事

記事内容
Agent の脅威モデル概観Agent の脅威モデルシステムの攻撃面を棚卸しし、脅威を列挙・分類してリスクを優先順位付けする作業とその成果物。構成変更のたびに見直す。概観(脅威の列挙と分類。防御層の設計は guardrails へ)
プロンプトインジェクションプロンプトインジェクションモデルへの入力に紛れ込ませた指示で、開発者の意図した挙動を上書きする攻撃。ユーザー入力による直接型と、Agent が読む外部コンテンツ経由の間接型がある。(直接・間接)と対策
ツール権限設計とサンドボックスツール権限設計とサンドボックスモデルが生成したコードの実行やコンピュータ操作を、本番システムから隔離された使い捨て環境(ネットワーク・資源制限付き)で行う仕組み。(外部 MCPツールやデータソースを LLM アプリケーションに接続するための標準プロトコル。概要は ツール使用、接続の実務は ツール接続標準(MCP とエコシステム) サーバーの信頼、コンピュータ操作型の隔離を含む)
データ漏えい対策データ漏えいAgent を経由して機微データが外部に出ること。間接プロンプトインジェクションによる攻撃系と、権限・ログ設計の不備による事故系がある。(exfiltration)経路と対策
ガードレールガードレール(入力・出力・アクションの 3 層防御の設計)
エージェントの認証・認可エージェントの認証・認可(個別 ID・委任・権限の交差・帰属・資格情報 vault)
エージェントのレッドチーミングエージェントのレッドチーミング脅威モデルを机上で終わらせず、実際に攻撃を試して防御の穴を見つける演習。エージェントでは有害な出力よりも、騙されたモデルが権限で有害な行動を取れるかに重心を置く。(演習設計・手動/自動・修正の優先順位・継続運用)
コンプライアンスとガバナンスコンプライアンスとガバナンス(規制の地図・会話ログのデータ保護・監査・ベンダー契約)
AI 規格・認証の実務(ISO/IEC 42001 ほか)AI 規格・認証の実務(規格の地図〔要求事項型/指針/任意 FW〕・認証 ≠ 安全・適合の進め方・監査・取得判断。ISO/IEC 42001組織が AI マネジメントシステム(AIMS)を PDCA で確立・運用するための要求事項を定めた、世界初の AI マネジメントシステム規格(2023 年)。第三者認証の対象になるが、認証は「AI を統制する仕組みの確認」であって AI の安全・正しさの保証ではない。ISMS(ISO/IEC 27001)と統合しやすい。 ほか・入口マップ+免責)
── 発展層(信頼・新興攻撃・プライバシー技術)──上記の基本(脅威 → 防御)の後に、上流(サプライチェーン)・攻撃の進化・プライバシー技術を足す(設計は project/plans/content/trust-security.md)
AI サプライチェーンセキュリティAI サプライチェーンセキュリティ(モデル・重み・データ・MCP・スキルを実行前に検証する受け入れプロセス)
新興攻撃パターンの体系(記憶・知識源・ツール・マルチエージェント)新興攻撃パターンの体系(記憶・知識源・ツール・マルチエージェント複数の Agent ループが、それぞれ独立したコンテキストを持って分担・協調する構成。経由の注入と既存防御へのマップ)
プライバシー強化技術の概観プライバシー強化技術の概観(マスキング → 匿名化 → 差分プライバシー保護単位 1 つ分が異なる隣接データセットについて、出力分布の差を ε・δ で制限するプライバシー保証です。あらゆる個人情報の推論を不可能にするものではなく、保護単位と複数公開のプライバシー予算を定義して使います。 → 連合学習生データを各所に置いたまま学習し、更新情報を集約する手法です。更新や完成モデルからの情報漏えいは残るため、連合学習だけをプライバシー保証とせず、安全な集約や差分プライバシー等の追加対策を検討します。 → 秘密計算の見取り図)
生成物の来歴と検出生成物の来歴デジタルコンテンツの作成・編集の履歴を、検証可能な形で記録・証明する考え方。C2PA / Content Credentials は署名付きメタデータで来歴を記録し改ざん検知可能にする(「栄養成分表示ラベル」)。ただし来歴は「履歴の検証」であって「AI 生成か否かの証明」ではなく、スクショ・再エンコードで剥がれうる(有無を単独の判断根拠にしない)。と検出(C2PA/透かしの仕組みと剥がれ方・検出の限界「断定しない」・組織運用。鮮度管理型)
ディープフェイク・なりすましへの防御ディープフェイクAI で合成した音声・映像で特定の人になりすますこと。声・顔が本人である証拠にならなくなるため、防御は「見破る(検出)」でなくプロセス(声/顔を本人確認に使わない・既知の正規連絡先へのコールバック検証・送金の多重承認)が中心。・なりすまし防御(声/顔を本人確認に使わない・コールバック検証・多重化・公的注意喚起)
フロンティアセーフティの概観フロンティアセーフティ最前線モデルの能力そのもの(サイバー・生物化学・AI 自己改善など)が重大被害に使われうるリスクを、提供者が管理する枠組み。共通構造は「能力閾値の設定 → 危険能力評価 → 到達時の対応措置 → 公表」の 4 段。安全の達成度は提供者の自己申告のため、選定・調達では複数(フレームワーク・システムカード・第三者評価)を突き合わせて評価軸にする。の概観(能力の安全・共通 4 段構造・AISI・調達時の評価軸。鮮度管理型)
MLOps と LLMOps の統合Agent の脅威モデル概観