Skip to Content
Docs12. モダリティ応用セクション概要

12-multimodal — モダリティ・生成 AI 応用

テキスト以外のモダリティ(文書・画像・動画・音声)の理解と生成を実務に組み込むためのセクションです。ドキュメント AI・画像理解・マルチモーダル RAG画像・図表・PDF を含む知識源で行う RAG です。テキスト化や画像埋め込みによる検索と、取得したページを視覚言語モデルで読む処理を分け、知識源に合わせて組み合わせ・評価します。 から、画像・動画・音声の生成、リアルタイム観測型エージェントまでを、選定軸・類型・限界の知識とともに扱います。

対話ループ・画面操作は 03 が正本です: 音声対話エージェントのループは 音声エージェント(voice agents)、画面を操作するエージェントの実装は コンピュータ操作エージェントの実装 が正本のまま維持されます。本セクションは「読解・理解」と「生成」、および「継続観測(支援側)」を扱います。マルチモーダルモデルの内部の直感は マルチモーダルモデルの仕組み を参照してください。

この章の記事

記事内容
ドキュメント AI(帳票・PDF の構造化)ドキュメント AIスキャン文書・PDF・帳票から、後続処理(RAG・業務システム)が使える構造化データを取り出す技術・パイプライン。本文を起こすだけでなく「どの項目が・どの値か」を検証可能な形で抽出する。OCR・レイアウト解析・VLM 直読を使い分け、抽出結果は業務ルールで検証し信頼度で人手に振り分ける。(帳票・PDF の構造化。OCR画像中の文字を検出してテキスト化する技術。文字起こしの精度と座標(位置情報)が得られ、大量処理のコストが読みやすい。レイアウトの復元は別途必要。ドキュメント AI では、意味的な項目抽出が得意な VLM 直読と役割で使い分け、組み合わせることも多い。 と VLM 直読の使い分け・レイアウト解析・抽出結果の検証・RAG外部の知識ソースを検索し、結果を LLM の入力に加えて回答の根拠にする手法。検索の判断を Agent に任せる構成は Agentic RAG と呼ばれる。 への接続)
画像理解の実務パターン画像理解の実務パターン(ユースケース類型別のプロンプト・構造化出力LLM の出力を JSON Schema などの機械可読なスキーマに従わせる技術。後続の処理がコードである出力(分類・抽出・スコア)に使う。併用・視覚の限界と対策・評価)
マルチモーダル RAGマルチモーダル RAG(テキスト化索引・マルチモーダル埋め込みテキストや画像を、意味的な近さが距離に対応する数値ベクトルに変換したもの。RAG・記憶・分類の土台で、「何が近いか」はモデルで変わるため自社データで評価して選ぶ。モデル変更は全チャンクの再インデックスを伴う。・ページ画像 VLM画像とテキストを一緒に扱える(画像を理解できる)モデル。大まかな内容は読めるが、細かい文字・数え上げ・精密な空間関係/座標で急に外す崖を持つ。図表読解・UI 解析・検品などに使い、重要な読み取りは検証・別手段と併用する。画像を「操作」する computer use とは区別する。 読解の 3 構成と使い分け・根拠提示)
画像生成のプロダクト組み込み画像生成のプロダクト組み込み(選定軸・一貫性管理・安全と権利・来歴デジタルコンテンツの作成・編集の履歴を、検証可能な形で記録・証明する考え方。C2PA / Content Credentials は署名付きメタデータで来歴を記録し改ざん検知可能にする(「栄養成分表示ラベル」)。ただし来歴は「履歴の検証」であって「AI 生成か否かの証明」ではなく、スクショ・再エンコードで剥がれうる(有無を単独の判断根拠にしない)。・レビューゲート)
動画生成・理解の概観動画生成・理解の概観(理解と生成の現在地・実務ユースケースの見極め。鮮度管理型)
音声合成(TTS)と声の設計音声合成(TTS)と声の設計(選定軸・声の設計・音声クローン特定の人の声を再現する音声合成機能。強力な一方で悪用リスクが大きく、提供各社は「本人の声のみ可」「同意文言の録音提出」「アクセス審査」「本人確認」などの統制を課す。実在の人の声には本人の明示的な同意が前提で、適法性・第三者の声の可否・商用条件は各社規約と地域法で要確認。の統制・発音制御・評価)
リアルタイムマルチモーダル Agentリアルタイムマルチモーダル Agent(継続観測・応答タイミング・プロアクティブ利用者が頼む前にエージェント側から動く性質(通知・提案・先回り)。便利さとうるささが紙一重で、外し続けると正しい通知まで無視され信頼を損なう。確信度 × 重要度 × 頻度の掛け算で介入を絞り、ユーザー制御(頻度設定・ミュート・「なぜ出たか」の説明)を用意する。介入・プライバシー。鮮度管理型)

執筆順・タスク分割はリポジトリ内の project/plans/content/multimodal.md と ROADMAP.md(Phase Y・Z)を参照してください。動画・リアルタイム・生成系のページは変化が速いため、各ページ本文冒頭の「最終確認日」を必ず確認してください。

文脈内学習と記憶の科学ドキュメント AI(帳票・PDF の構造化)