この記事を、二人の対話で。
AI 合成音声 · VOICEVOX Nemo（女声1・男声1）
音声の一覧・再生リストへコンピュータ操作型・マルチモーダル Agent
この記事の目的
コンピュータ操作型 Agent の動作原理(画面観測ループ)を理解し、テキスト・API 中心の Agent との実務上の差分 — 速度・不確実性・安全性 — を踏まえて、採用の可否とリスク対策の当たりを付けられるようになります。
対象読者
- GUI しかない業務システム・Web サイトの自動化を検討しているエンジニア
- コンピュータ操作型 Agent の導入リスクを評価する立場のテックリード・セキュリティ担当者
前提知識
- AI Agent とは何か — 3 類型(会話型・ツール実行型・コンピュータ操作型)
- Agent ループ — 観測・思考・行動のサイクル
- ツール使用 — 行動がツール呼び出しとして表現される仕組み
本文
概要: 画面を見て、マウスとキーボードで操作する Agent
コンピュータ操作(computer use)型 Agent とは、画面のスクリーンショットを観測し、マウスクリック・キーボード入力を行動とする Agent です。API が用意されていない GUI — レガシー業務システム、社外の Web サイト — を自動化できる点が唯一無二の価値です。
前提として、モデルがマルチモーダル(multimodal)であること、つまり画像(スクリーンショット)を入力として理解できることが必要です。マルチモーダル対応は音声・PDF・動画などにも広がっていますが、本記事はコンピュータ操作に焦点を当てます。
詳細: 画面観測ループの特殊性
構造は通常の Agent ループ と同じですが、ツールが「スクリーンショット取得」「座標クリック」「文字入力」「キー送信」などに置き換わります。この置き換えが生む特性は次のとおりです。
- 観測ごとに画像コストが掛かる — 基本形では行動のたびに画面を撮り直すため、画像トークンの消費とレイテンシが操作数に比例して積み上がります
- 物理的な待ち時間 — 画面の描画完了・ページ遷移を待つ必要があり、LLM の速度以外の遅延が加わります
- 座標依存の脆さ — 「(512, 384) をクリック」という行動は、解像度・ウィンドウサイズ・UI 変更で簡単に壊れます
詳細: ツール実行型との違い
| 観点 | ツール実行型(API) | コンピュータ操作型 |
|---|---|---|
| 速度 | 1 操作あたり秒オーダー | 1 操作あたり数秒 × 操作数(タスク全体で数分〜) |
| 操作対象の指定 | 型・識別子・引数を API 契約で検証できる | UI 変更・解像度・タイミングの影響を受ける |
| 成功判定 | 戻り値・ステータスコードで処理結果を確認し、業務上の正しさも照合する | 画面からの推測になりがちで、データ側の確認も必要 |
| コスト | テキストトークン | 画像トークンが操作数に比例して累積 |
| 失敗時の影響 | 不正な形式は拒否できるが、妥当な引数による誤送信・誤削除は実行されうる | 誤クリックによる誤送信・誤削除がその場で実行されうる |
詳細: 画面操作で注意する 3 つのリスク
- 画面経由の間接プロンプトインジェクションモデルへの入力に紛れ込ませた指示で、開発者の意図した挙動を上書きする攻撃。ユーザー入力による直接型と、Agent が読む外部コンテンツ経由の間接型がある。 — Agent は画面に映るものすべてを「読み」ます。閲覧した Web ページや受信メールに埋め込まれた悪意ある指示を、タスクの指示と混同する攻撃面が構造的に存在します(プロンプトインジェクション)
- 誤操作の実害 — 画面上の「送信」「購入」「削除」ボタンは本物です。テキスト生成の失敗と違い、誤操作はその場で現実の副作用になります
- 認証情報との近接 — 操作対象はログイン済みセッションであることが多く、Agent の誤動作・乗っ取りがそのまま認証済み権限の悪用につながります
間接プロンプトインジェクション、権限の悪用、意味的な誤操作は API 型にもあります。API が減らすのは主に画面変化・座標指定の不確実性です。検索やメール取得 API の戻り値も非信頼データとして扱い、API 化した操作にも認可・送信先制限・必要な承認を残します。
対策の基本形は、専用のサンドボックスモデルが生成したコードの実行やコンピュータ操作を、本番システムから隔離された使い捨て環境(ネットワーク・資源制限付き)で行う仕組み。環境(専用 VM・専用ブラウザプロファイル・最小権限の専用アカウント)で動かし、不可逆操作の前に人間の承認を挟むことです。詳細は ツール権限設計とサンドボックス と Human-in-the-Loop 設計 で扱います。
設計判断: API があるなら API
コンピュータ操作は強力ですが「最後の手段」です。判断の順序:
- 公式 API・MCPツールやデータソースを LLM アプリケーションに接続するための標準プロトコル。概要は ツール使用、接続の実務は ツール接続標準(MCP とエコシステム) 連携がある → それをツールにします(ツール使用)。速く・安く・堅牢です
- 大半は API で、一部だけ GUI 必須 → ハイブリッド構成にし、コンピュータ操作は最小の区間に限定します
- GUI しかない → コンピュータ操作 + サンドボックス + 承認フローで設計します
「操作数を減らす」ことが品質・コスト・安全性のすべてに効きます。GUI 操作 20 手順のうち 15 手順を API 化できるなら、それだけで失敗確率とコストが大きく下がります。
観測と行動の粒度は固定ではない
各クリックの後にスクリーンショットを撮る方式は基本形ですが、唯一の実装ではありません。2026-08-19 に GA となった Claude API の computer / browser toolset は、複数操作のまとめ実行やページ要素参照を持ちます。これにより往復回数を減らせる一方、途中の状態が変わる操作や外部送信は分割し、権限・必要な承認と結果確認を維持します。
「画像 1 枚 × 操作数」は初期見積りとし、実際の観測回数・解像度・ツール往復で費用を測ります。toolset の GA は任意の業務操作が安全という保証ではありません。
実務での注意点
アンチパターン
- API が存在する操作を画面操作で自動化する → 座標・画面変更への依存が増える → 自動化対象の API・MCP 連携を調査し、API でもツール結果の非信頼性と誤操作への対策を維持する
- 開発者本人のアカウント・実環境で動かす → 誤操作やインジェクションの実害が本物のデータ・本物の権限に直撃する → 専用アカウント・専用環境を用意してから開発を始める
- 成功判定を「最後のスクリーンショットがそれっぽい」で済ませる → 静かな失敗エラーを出さずに完走しながら、誤った結果を返す・誤った副作用を残す失敗。技術メトリクスに現れないため、品質シグナルによる検知設計が必要になる。(入力欄がずれていた等)が検出されず蓄積する → データ側の確認手段(照会 API・DB 確認)で完了を検証する
チェックリスト
- 対象操作に API・MCP 連携の代替がないことを確認した
- 専用のサンドボックス環境(VM / ブラウザプロファイル / 最小権限アカウント)で動かしている
- 不可逆操作(送信・購入・削除)の前に人間の承認が入る
- API の戻り値も非信頼データとして扱い、業務上の意図と操作対象を確認する
- 実行中に人間が即座に停止できる手段がある
- タスクの成功を画面以外の手段でも検証している
- 操作対象の UI 変更を検知できる(定期実行の場合)
関連トピック
- AI Agent とは何か — 3 類型の中での位置づけ
- Agent ループ — 画面観測ループの基本構造
- ツール使用 — API 連携という第一選択肢
- ツール権限設計とサンドボックス — サンドボックス設計の詳細
- プロンプトインジェクション — 画面経由の間接インジェクション
- フィジカル AI とロボティクスの概観 — 「観測して行動する」ループの連続線上にある物理世界側
- マルチモーダルモデルの仕組み(数式なしの直感) — 画面・画像を内部でどう扱うか(コスト・精度の崖の由来)
- 画像理解の実務パターン — 画面・画像を「読解」する側のプロンプトと限界(本記事は「操作」側)
参考資料
-
提供仕様・終了日程: platform.claude.com (アクセス日: 2026-09-10)
-
Developing a computer use model(Anthropic) — コンピュータ操作型モデルの動作原理と画面経由のインジェクション(アクセス日: 2026-09-10)
-
Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection — 取得データに埋め込まれた指示が API 操作にも影響する攻撃の原論文(アクセス日: 2026-09-10)