マルチモーダルモデルの仕組み(数式なしの直感)

この記事の目的

画像や音声を扱うマルチモーダルテキスト以外の入力(画像・音声など)を理解できるモデルの能力。コンピュータ操作型 Agent の前提となる。モデル(multimodal model)が、内部で何をしてテキストと同じように扱っているのかの直感を持てるようになります。10 章の方針どおり数式には踏み込まず、「なぜ画像がトークンとして消費されるのか」「なぜ細部の読み取りで急に外すのか」といった、実務の設計・デバッグに効く挙動の由来を理解するのがゴールです。

対象読者

• 画像・音声を入力に使う Agent を作っていて、コスト・精度の挙動の理由を掴みたいエンジニア
• 「マルチモーダル対応」の内部を、実装の詳細抜きで直感的に理解したい人

前提知識

• LLM はどうやってテキストを生成するか — 次トークン予測(マルチモーダルもこの枠組みの上に載る)
• トークナイザとトークン経済 — トークンが課金・文脈の単位(画像もトークンを消費する理由の土台)
• 注意機構とコンテキストウィンドウの仕組み — 統一された系列を混ぜ合わせる仕組み

本文

概要: 分担と「同じ土俵に載せる」

マルチモーダルモデルの核心は、テキスト以外の入力を、テキストと同じ「土俵」に載せることです。本記事は、画像表現をテキスト系列に接続する構成を例に内部の直感を扱い、それを使ってエージェントを作る側は コンピュータ操作とマルチモーダルエージェント が扱います。

直感①: すべてを「表現ベクトルの列」に変換する

LLM は本来、テキストのトークンを**表現ベクトル(意味を表す数の並び)**に変換して処理します(埋め込み(embeddings)と同じ発想)。マルチモーダルモデルは、この入り口を拡張します。

• テキストは、これまでどおりトークン → 表現ベクトルに変換します
• 画像や音声は、専用の変換器などで数値表現に変換し、言語モデルへ接続します。具体的な形式・接続方法は構成により異なります
• 本記事の例では、異なる入力を同じ形式のベクトル列に揃え、テキストとともに処理します

要点は、モデルが「画像そのもの」を見ているのではなく、画像を変換した表現ベクトルの列を見ている、ということです。この変換の質が、読み取りの精度を左右します。

直感②: 画像は「パッチ」に分けてトークン相当にする

では画像はどうやってベクトルの列になるのでしょうか。直感は、画像を格子状の小片(パッチ)に分割することです。

• 画像を小さなタイルに分け、各タイルを 1 つの表現ベクトルに変換します。テキストが単語片(トークン)の列になるように、画像はパッチの列になります
• 画像入力も、採用モデルの換算方法に応じてトークンや料金を消費します(トークナイザとトークン経済)。解像度・サイズと消費量の関係は、モデルや前処理によって異なります
• 画像は「1 個の入力」でも内部では多数の表現に変換されるため、コンテキストと費用への影響を採用モデルの仕様で確認します

直感③: 統一された系列を注意機構で混ぜ合わせる

テキストのトークン列と画像のパッチ列が同じ形式になったら、あとは1 つの系列に並べて、いつもの仕組みで処理します。

• テキストと画像のベクトルを 1 本の系列に連ね、注意機構で相互に関連づけます。これにより「画像のこの部分と、質問のこの語」を結びつけられます
• 出力は、これまでどおりテキストのトークンを 1 つずつ生成します(LLM はどうやってテキストを生成するか)。入力はマルチモーダルでも、多くのモデルの出力はテキストです
• つまりマルチモーダル理解は、「入力の入り口を増やし、あとは共通の系列処理に流し込む」構図です。生成の仕組みそのものは変わりません

なぜ効くのか、どこで崖が来るのか

この構図は強力ですが、限界も構図から予測できます。

• 効く: 画像・音声を言語と結びつけた理解(説明・要約・質問応答・大まかなレイアウト把握)。パッチ表現が捉えられる範囲の情報
• 崖が来る: パッチに分割・圧縮する過程で細部が失われるため、小さな文字・密な表・精密な位置関係・数え上げなどで急に外します。「だいたい合っているが細部が違う」が典型です
• 解像度がトレードオフ: 細部の読み取りには入力の粒度が影響します。解像度とトークン数・料金の関係はモデルや前処理に依存するため、必要な粒度での精度と費用を比較します
• 幻覚モデルが事実でない内容をもっともらしく生成する現象。「もっともらしい続きを生成する」という学習目的の自然な帰結であり、対策は指示の強化ではなく、根拠の外部供給(RAG)・出典要求・検証という構造側にある。は同じ構造で起きる: モデルは見えない細部を「もっともらしく補完」します。画像でも幻覚(hallucination)は起き(LLM の能力と限界の由来の補完傾向)、しかも「画像に書いてあるように見せて」出るため気づきにくいです

トークン経済とコスト・レイテンシ設計

マルチモーダルの実務判断は、多くがトークン経済に帰着します(トークナイザとトークン経済)。

• 画像・音声・動画は、モデルや処理方法に応じてトークン・費用・レイテンシに影響します。動画は利用するフレーム数も確認します
• 解像度・枚数を必要最小限にする: 読み取りに要る粒度だけ渡します。全画面の高解像度を丸ごと渡す前に、関心領域の切り出し・縮小を検討します(コスト管理・レイテンシ最適化)
• テキストで足りるか確かめる: OCR画像中の文字を検出してテキスト化する技術。文字起こしの精度と座標(位置情報)が得られ、大量処理のコストが読みやすい。レイアウトの復元は別途必要。ドキュメント AI では、意味的な項目抽出が得意な VLM 直読と役割で使い分け、組み合わせることも多い。 済みテキストや構造化データで必要な情報が保たれる場合は、画像入力と精度・費用を比較します。位置や外観が必要なら画像も使い、重要な読み取りは検証します

理解と生成は別物: 非対称に注意

「マルチモーダル」は、入力を理解する側と、画像・音声を生成する側で仕組みが異なります。混同しないことが実務上重要です。

• 本記事が扱ったのは入力理解(画像を読む)です。多くの LLM 系マルチモーダルモデルは、理解はできても出力はテキストです
• 画像・音声そのものの生成は、別系統の技術(拡散モデルなど)が担うことが多く、同じモデルが両方を高品質にこなすとは限りません
• 「この画像を説明して」(理解)と「こういう画像を作って」(生成)は、別の能力・別の課金・別の限界だと捉えます

実務での注意点

アンチパターン

チェックリスト

関連トピック

• LLM はどうやってテキストを生成するか — マルチモーダルも次トークン予測の枠組みに載る
• トークナイザとトークン経済 — 画像・音声がトークンを消費する理由
• 注意機構とコンテキストウィンドウの仕組み — 統一系列を混ぜ合わせる仕組み
• 埋め込み(embeddings) — 「意味を表現ベクトルにする」共通の発想
• コンピュータ操作とマルチモーダルエージェント — マルチモーダルを使ってエージェントを作る側
• LLM の能力と限界の由来 — 見えない細部を「もっともらしく補完」する幻覚の由来(画像でも起きる)
• コスト管理 / レイテンシ最適化 — 画像トークンが効かせるコスト・速度

参考資料

• An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale(Dosovitskiy ら, 2020)  — 画像をパッチに分けて系列として扱う発想の代表的な論文(アクセス日: 2026-10-01)

• Visual Instruction Tuning (LLaVA)  — 視覚特徴を言語モデルへ接続する構成例(アクセス日: 2026-10-01)

• Flamingo: a Visual Language Model for Few-Shot Learning  — 交差注意で視覚特徴を参照する構成例(アクセス日: 2026-10-01)

• Towards VQA Models That Can Read (TextVQA)  — 画像中の文字と視覚情報を合わせて扱う課題(アクセス日: 2026-10-01)

TODO・未確認事項