Skip to Content
Docs04. 評価セクション概要

04-evaluation — 評価・テスト

Agent の品質をどう測り、どう継続的に保証するかを扱うセクションです。「作ったが品質が分からない」状態を防ぐことを目的とします。

この章の記事

記事内容
Agent 評価の基礎Agent 評価の基礎(何を・いつ・どう測るか)
LLM-as-a-JudgeLLM-as-a-Judgeコードでは採点できない開放的な出力を、基準を与えた別の LLM に判定させる評価手法。judge 自体の検証(人手ラベルとの一致率測定)を前提とする。(設計・バイアス・検証)
軌跡(trajectory)評価軌跡(trajectory)評価 — 最終出力だけでなく過程を評価する
回帰テストと CI 組み込み回帰テストプロンプト・ツール・モデルの変更で既存の品質が壊れていないかを、評価データセットの再実行と前回比較で検知するテスト。と CI への組み込み
評価データセットの構築と保守評価データセットの構築と保守(収集・合成・アノテーション・ゴールデンセット正解・合格基準がアノテーション済みで、リリース判定や回帰テストの基準として層別・バージョン管理されながら維持される評価ケース集合。)
オンライン評価と A/B テストオンライン評価本番トラフィック上で品質シグナル(タスク成功の代理指標・フィードバック・サンプリング採点)を測る評価。手元のデータセットで測るオフライン評価を補完し、A/B テストやカナリアで真の効果を確定する。と A/B テスト(本番シグナル・カナリア・自動ロールバック・落とし穴)
エージェントベンチマークの全体像エージェントベンチマークエージェントの能力を測る公開ベンチマーク(コーディング・Web / コンピュータ操作・汎用アシスタント・対話ツール使用などのカテゴリがある)。ハーネス依存・汚染・飽和という限界を踏まえ、選定の参考情報として使い、自社品質は自前の評価で測る。の全体像(カテゴリ別の地図とスコアの読み方・鮮度管理型)
エージェント評価環境の構築エージェント評価環境の構築(モック・状態付きサンドボックスモデルが生成したコードの実行やコンピュータ操作を、本番システムから隔離された使い捨て環境(ネットワーク・資源制限付き)で行う仕組み。・状態リセット・CI 統合・失敗の再現環境化)
ユーザーシミュレータの設計ユーザーシミュレータ対話型 Agent の評価で「ユーザー役」を務める LLM です。指示と会話で誘導するユーザー役、評価対象 Agent の API・状態を制御する環境、採点する審判役は別であり、発話の制約が必要なら検証処理も設けます。の設計(ペルソナ・目標・暴走抑制・シナリオ生成・シミュレータ品質の検証)
信頼度と較正(calibration)信頼度と較正(信頼度の取り出し・較正の測定・選択的予測確信度が閾値を下回ったら答えずに棄権する(「わからない」と言う・人へエスカレーションする)設計。棄権を増やすと答えたケースの精度は上がるがカバレッジは下がるため、閾値は失敗コストで決める。・閾値設計・再較正モデルの言う確信度と実際の正解率が一致している性質。「確信 80% のケースが実際に 8 割正解する」なら較正が良い。LLM は過信に寄りやすく、較正はモデル更新でずれるため再測定が要る。)
公平性・バイアスの評価公平性・バイアスの評価(バイアスの類型・対照ペアテスト入力の属性だけを入れ替え、それ以外を同じにしたペアで出力が変わるかを見る公平性評価の手法。属性を唯一の変数にできるため、品質・トーン・拒否率の不当な差の原因を切り分けられる。・層別評価・対応と限界)
日本語品質の評価日本語品質の評価(敬語・文体一貫性・表記・judge の日本語能力検証・自動チェックとの分担)
オープンソース AI エコシステムAgent 評価の基礎