この記事の音声は準備中です。
音声の一覧・再生リストへAI のためのデータガバナンス
この記事の目的
知識源の品質が RAG外部の知識ソースを検索し、結果を LLM の入力に加えて回答の根拠にする手法。検索の判断を Agent に任せる構成は Agentic RAG と呼ばれる。・ナレッジ Agent の品質を制約する問題を、組織の仕組みで扱えるようになります。データオーナーシップ・AI 向けデータカタログ・品質基準・AI 利用可否の分類を設計し、AI 導入をデータ衛生の改善につなげる運用を作れる状態がゴールです。
対象読者
- 社内の RAG・ナレッジ Agent を運用し、「知識源が古い・間違っている・責任者不明」に繰り返し悩んでいるエンジニア・リード
- AI 導入を機に、社内データの品質・管理体制を整えたい立場の人
前提知識
- ケーススタディ: 社内ナレッジ Agent — 知識源の品質と権限を扱う架空の設計例
本文
概要: 分担と本記事の射程
| 対象 | 正本 | 本記事 |
|---|---|---|
| 会話データ(AI が生むログ)の管理 | 会話データの管理基盤 | — |
| 規制・コンプライアンス統制(AI ポリシー・監査) | コンプライアンスとガバナンス | — |
| 知識源の取り込み技術(抽出・前処理) | LLM 向けデータ前処理パイプライン | — |
| 知識源データを組織で担保する仕組み | 本記事 | オーナーシップ・カタログ・品質基準・AI 利用可否 |
本記事が扱うのは、AI に食わせる知識源データ(社内文書・データセット)の組織的な管理です。AI が生む会話ログの管理は 会話データの管理基盤 が、規制・法務面は コンプライアンスとガバナンス が正本です。
AI 品質はデータ品質に律速される
RAG・ナレッジ Agent では、誤った・古い知識源を使い続けると、検索や生成だけの改善では誤答を解消できない場合があります。以下はその問題を考えるための例です。ケーススタディ: 社内ナレッジ Agentも架空の設計例として参照できます。
- 古い規定が検索に載れば、Agent は自信を持って古い答えを返します
- 責任者不明の文書は、間違いを見つけても誰も直せません
- 重複した版が混在すれば、回答が版によって矛盾します
これらは技術で回避しきれません。知識源そのものを健全に保つ組織の仕組みが要ります。AI の品質改善は、ある地点からデータガバナンスの問題になります。
データオーナーシップ
最初の仕組みがオーナーシップ — 各文書・データセットに責任者を割り当てることです。
- 責任者を決める: 「この規定文書のオーナーは法務部の誰」を明確にします。オーナー不在の文書は、更新も廃止も判断できず、腐っていきます
- 更新義務を持たせる: オーナーに、鮮度の維持(改定の反映・古い版の廃止)の責任を持たせます。「AI に載っているのに誰も更新しない」を防ぎます
- メタデータに埋める: オーナー情報を、取り込み時のメタデータ(LLM 向けデータ前処理パイプライン)に含めます。問題のある回答から、原本と責任者へ遡れるようにします
AI 向けデータカタログ
カタログは、どんな知識源が・どこに・どんな状態であるかを一覧化する仕組みです。汎用のデータカタログに、AI 特有のメタデータを足します。
- 所在: どのシステム・どのインデックスに載っているか
- 鮮度: 最終更新日・更新頻度・次回見直し日
- 権限: 誰が閲覧できるか(検索の権限反映の元になります。データ漏えい対策)
- オーナー: 責任者(前述)
- AI 利用可否: 学習・検索に載せてよいかのタグ(後述)
カタログがないと、「何が AI に載っているか」を誰も把握できず、古い・機微・権利上問題のあるデータが紛れ込んでも気づけません。
品質基準とその計測
「品質を上げよ」では動きません。測れる基準にします。
- 鮮度: 最終更新からの経過・見直し期限の超過率。「更新期限切れの文書が知識源の何%か」を測ります
- 正確性: サンプリングした文書の内容が正しいか。フィードバック(フィードバックループの運用)で見つかった誤りの件数も指標になります
- 一意性: 重複・版違いの割合。同一内容の多重登録は矛盾の元です(LLM 向けデータ前処理パイプラインの重複排除)
- 計測を運用に乗せる: これらを定期的に測り、基準を割った知識源をオーナーに差し戻す運用にします
AI 利用可否の分類
すべてのデータを AI に載せてよいわけではありません。利用可否をデータに分類・タグ付けします。
- 検索に載せてよいか: 機微度・権限の観点で、RAG のインデックスに入れてよいかを分類します
- 学習に使ってよいか: FT・合成データLLM に生成させた評価・学習用のデータ。量とバリエーションを安く稼げる一方、分布の偏りと盲点の共有(生成モデルと評価対象が同系だと弱点が現れない)に注意が必要。生成(学習用合成データの実務)に使ってよいかは、検索利用とは別の判断です(権利・機微度が異なる)
- 既定は「載せない」: 分類が付いていないデータは AI に載せない、を既定にします。「とりあえず全部インデックス」は、機微・権利上問題のあるデータを混入させます
- 規制上の要求(保持・削除・同意)との整合は コンプライアンスとガバナンス が正本です
AI 導入をデータ衛生のフォーシング関数にする
見方を変えると、AI 導入は社内データを整理する好機です。
- AI が古い・矛盾した回答を返すことで、これまで放置されていたデータ品質の問題が可視化されます。「AI が間違えた」を、データを直すきっかけ(フォーシング関数)にします
- フィードバックループ利用者からの明示シグナル(評価ボタン)と暗黙シグナル(修正・再試行・放棄)を収集し、評価データセットと改善へ還流させる循環。収集だけでなくトリアージと還流の運用まで含めて 1 つの仕組み。(フィードバックループの運用)で見つかった知識源の問題を、オーナーへの改善タスクに変換する運用を作ります
- ただし、AI 導入前提でデータ整備を丸投げすると破綻します。オーナーシップとカタログという土台を先に置いたうえで、AI をきっかけに回します
既存のデータガバナンス組織との協働
多くの組織には、すでにデータガバナンスの部門・仕組みがあります。AI のために別建てで作らないのが原則です。
- 既存のデータカタログ・品質管理に、AI 特有のメタデータ(AI 利用可否・検索インデックス所在)を足す形にします
- 規制・法務面は既存のコンプライアンス組織と、技術面は取り込みパイプラインのチームと役割分担します
- AI チームだけでデータガバナンスを抱えると、権限も一貫性も足りず破綻します。既存の仕組みに乗せ、AI 固有の要件を追加するのが現実的です
実務での注意点
アンチパターン
- モデル・プロンプトの改善だけで品質を上げようとする → 知識源が古い・誤っている限り頭打ちになる → データオーナーシップと品質基準で知識源側を健全に保つ
- オーナー不在の文書を知識源にする → 誤りを見つけても誰も直せず腐る → 各知識源に責任者と更新義務を割り当てる
- 分類なしで「とりあえず全部インデックス」 → 機微・権利上問題のあるデータが混入する → AI 利用可否を分類し、未分類は載せないを既定にする
- 品質を「基準なし」で語る → 誰も動かず改善しない → 鮮度・正確性・一意性を測れる指標にし、割ったら差し戻す
- AI のためにデータガバナンスを別建てで作る → 既存の仕組みと二重管理になり破綻する → 既存のカタログ・品質管理に AI 固有のメタデータを足す
チェックリスト
- 主要な知識源にオーナー(責任者)と更新義務が割り当てられている
- AI 向けデータカタログ(所在・鮮度・権限・オーナー・AI 利用可否)がある
- 品質基準(鮮度・正確性・一意性)を測れる指標にし、定期計測している
- AI 利用可否(検索に載せてよいか・学習に使ってよいか)を分類し、未分類は載せない
- フィードバックで見つかった知識源の問題を、オーナーへの改善タスクに変換している
- 既存のデータガバナンス・コンプライアンス組織と役割分担し、二重管理を避けている
関連トピック
- 会話データの管理基盤 — 「AI が生むデータ(会話ログ)」の管理(対になる記事)
- コンプライアンスとガバナンス — 規制・AI 利用ポリシー・監査(制度面の正本)
- LLM 向けデータ前処理パイプライン — 知識源を取り込む技術側(メタデータ・重複排除)
- ケーススタディ: 社内ナレッジ Agent — データ品質・権限管理を扱う架空の設計例
- フィードバックループの運用 — 知識源の問題を改善タスクに還流させる仕組み
- データ漏えい対策 — 権限・機微度の分類が防ぐ漏えい
参考資料
- Gebru et al. — Datasheets for Datasets — データセットの目的・構成・収集方法・推奨用途などを文書化する提案。本記事では知識源のカタログと責任分担の設計に応用しています(アクセス日: 2026-09-10)
- 規制・コンプライアンス面の一次資料はコンプライアンスとガバナンスを参照してください。
TODO・未確認事項
なし