Skip to Content
Docs12. モダリティ応用マルチモーダル RAG
上級multimodal-ragragvision-language-model更新: 2026-10-04この記事の誤りを報告

この記事の音声は準備中です。

音声の一覧・再生リストへ

マルチモーダル RAG

この記事の目的

画像・図表・PDF を含む知識源で RAG外部の知識ソースを検索し、結果を LLM の入力に加えて回答の根拠にする手法。検索の判断を Agent に任せる構成は Agentic RAG と呼ばれる。 を組む際の、2 つの索引方式と取得後の読解方式を組み合わせられるようになります。テキスト化した索引・マルチモーダルテキスト以外の入力(画像・音声など)を理解できるモデルの能力。コンピュータ操作型 Agent の前提となる。埋め込みテキストや画像を、意味的な近さが距離に対応する数値ベクトルに変換したもの。RAG・記憶・分類の土台で、「何が近いか」はモデルで変わるため自社データで評価して選ぶ。モデル変更は全チャンクの再インデックスを伴う。による索引と、取得したページ画像の VLM画像とテキストを一緒に扱える(画像を理解できる)モデル。大まかな内容は読めるが、細かい文字・数え上げ・精密な空間関係/座標で急に外す崖を持つ。図表読解・UI 解析・検品などに使い、重要な読み取りは検証・別手段と併用する。画像を「操作」する computer use とは区別する。 読解のトレードオフを理解し、図表の根拠提示・ハイブリッド・評価を設計します。テキスト RAG の原則は RAG 実装パターン が正本で、本記事はそのマルチモーダル差分に絞ります。

対象読者

  • 図表・帳票・スライドを含む知識源で RAG を組む必要があり、テキスト RAG では取りこぼす実装担当
  • 既存のテキスト RAG に画像・PDF を取り込む拡張を検討しているエンジニア

前提知識

本文

概要: 差分は「画像をどう検索可能にするか」

**マルチモーダル RAG(multimodal RAG)**は、テキスト以外(画像・図表・PDF ページ)を含む知識源で検索拡張生成を行う RAG です。テキスト RAG の原則(チャンク・検索・生成・評価)は RAG 実装パターン が正本で、本記事の差分は 1 点 — 画像・図表をどう検索可能にし、どう根拠として返すかです。以下、索引方式と回答時の読解方式を分け、組み合わせ方を扱います。

索引と読解の構成要素・トレードオフ

①②は検索用の索引方式、③は検索後の読解方式です。三者は排他的な選択肢ではなく、①または②で検索した候補を③で読む構成にできます。以下の比較は独自の設計整理です。

構成要素処理強み注意点
①テキスト化して索引ドキュメント AIスキャン文書・PDF・帳票から、後続処理(RAG・業務システム)が使える構造化データを取り出す技術・パイプライン。本文を起こすだけでなく「どの項目が・どの値か」を検証可能な形で抽出する。OCR・レイアウト解析・VLM 直読を使い分け、抽出結果は業務ルールで検証し信頼度で人手に振り分ける。 で画像/PDF をテキスト化し、通常のテキスト RAG に載せる既存テキスト RAG を流用できるテキスト化で失う情報(図・レイアウト)がある
②マルチモーダル埋め込みで直接検索クエリと画像ページの表現を照合して検索テキスト化を介さず画像を検索できる埋め込みの質・運用が難しい
③検索候補を VLM で読解①②などで選んだページ画像を VLM に渡して回答レイアウト・図を根拠にできる候補ページ数・解像度に応じた推論費用と誤読の評価が必要
  • ①テキスト化して索引: 既存のテキスト索引を活用する候補です。ドキュメント AIで画像・PDF をテキスト化し、既存のテキスト RAG に載せます。抽出結果や既存基盤を流用できる一方、図・グラフ・レイアウトの情報はテキスト化で失われます。文字情報が主なら、抽出品質と索引費用を測る出発点にできます
  • ②マルチモーダル埋め込み: テキストクエリと画像ページの埋め込みを照合して検索します。単一ベクトルの方式だけでなく、ColPali のように複数ベクトルを照合する方式もあります(埋め込み)。テキスト化を介さず図表を引ける一方、埋め込みの質・評価・運用の難易度が上がります
  • ③ページ画像を VLM で読む: ページを画像のまま保持し、検索で絞った候補ページを VLM に読ませて回答します(画像理解の実務パターン)。レイアウト・図をそのまま活かせますが、費用と待ち時間は主に読み取る候補ページ数・解像度・モデルで変わります。知識源全体が大きいことだけでは採用可否は決まりません
  • 選び方: 文字を検索に使うなら①、画像表現を検索に使うなら②を比較し、候補のレイアウトや図を回答根拠にするなら③を組み合わせます

図表の引用・根拠提示

マルチモーダル RAG の価値の 1 つは、該当箇所を画像で示せることです。

非信頼入力と根拠の一致

画像・PDF の文字、OCR画像中の文字を検出してテキスト化する技術。文字起こしの精度と座標(位置情報)が得られ、大量処理のコストが読みやすい。レイアウトの復元は別途必要。ドキュメント AI では、意味的な項目抽出が得意な VLM 直読と役割で使い分け、組み合わせることも多い。 結果、テキスト層は非信頼のデータです。資料内の命令を指示や権限の根拠にせず、間接プロンプトインジェクションを前提に、取得後の危険操作・送信を制限します。

取り込み時に PDF のテキスト層と描画結果・OCR を比較し、不可視テキストや差異を検出した資料を隔離して確認します。この比較で攻撃を完全に検出できるとは仮定しません。提示する根拠画像・ページ・切り出し範囲を、モデルが実際に読んだ画像・テキスト・チャンク ID と対応付け、ユーザーに見える根拠とモデル入力の食い違いを監査できるようにします。

ハイブリッド構成

検索と読解を組み合わせる構成例を示します。必要な品質と費用によって、単一の索引方式で十分な場合もあります。

  • テキスト + 画像の併用索引: 文書をテキスト化した索引(①)と画像表現の索引(②)を併用し、検索候補を必要に応じて③で読みます。テキスト検索だけで必要なページを得られる場合は、①と③の組み合わせでも構成できます
  • 2 段構え: テキスト検索で候補を絞り(安価)、重要な図表を含む候補だけ VLM で読む(高価)、という段階設計でコストを抑えます
  • 知識源の性質で配分: 文字主体・図表主体のそれぞれで①②の検索再現率を比較し、候補画像の読解が必要なら③を組み合わせます

評価: 検索と読解を分離する

マルチモーダル RAG の評価は、検索と読解を分けて測ります。テキスト RAG の評価に、視覚の失敗モードが加わるためです。

  • 検索の評価: 正しいページ・図表が検索で上位に来るか(検索の再現率・精度)。テキスト RAG の検索評価(RAG 実装パターン)と同じ考え方です
  • 読解の評価: 検索できた画像を、VLM が正しく読めているか(画像理解の実務パターンの視覚タスク評価)。「正しい図を引いたのに数値を誤読」を切り分けます
  • 分離の理由: 検索と読解を混ぜて測ると、失敗の原因が分かりません。「検索が悪いのか、読解が悪いのか」を分けることで、どちらを直すかが決まります(Agent 評価の基礎)

実務での注意点

アンチパターン

  • 候補を絞らず全ページを VLM に渡す → 推論費用・待ち時間や入力上限が問題になる → ①②などで検索し、必要なページを③で読む
  • テキスト抽出で失われた情報を無視する → 図・レイアウトに依存する問いで根拠が欠ける → ①②で必要なページを検索し、画像情報が必要な候補は③で読解して根拠を提示する
  • 根拠画像を返さない → 図表の誤読を利用者が確認しにくい → 該当ページ・図を画像で根拠提示する
  • 検索と読解をまとめて評価する → 失敗の原因(検索 or 読解)が切り分けられない → 検索の評価と読解の評価を分離する
  • テキスト RAG の原則を無視して作り直す → チャンク・出典・評価の基礎を再発明する → テキスト RAG の原則を土台に、マルチモーダル差分だけ足す

チェックリスト

  • 画像・PDF・OCR を非信頼データとして扱い、取り込み後の危険操作に制約がある
  • テキスト層と描画結果の差を検出・隔離し、提示する根拠がモデル入力に対応している
  • 知識源と質問の性質に合わせて索引①②を選び、必要な読解③を組み合わせた
  • 図表の問いで必要なページを①②で検索でき、必要に応じて③で読解・根拠提示できることを評価した
  • コストのため、テキスト検索で絞ってから VLM で読む段階設計を検討した
  • 該当ページ・図を画像で根拠提示している
  • 検索の評価と読解の評価を分離して測っている
  • テキスト RAG の原則(チャンク・出典・評価)を土台にしている

関連トピック

参考資料

  • Faysse ほか, ColPali (2024)  — 文書ページ画像から複数ベクトルを作る検索手法。画像検索と取得後の VLM 読解を分ける具体例(アクセス日: 2026-09-10)

TODO・未確認事項

なし

画像理解の実務パターン画像生成のプロダクト組み込み