Skip to Content
Docsサンプルコードevaluation-harness — 最小の評価ハーネス(Python)

evaluation-harness — 最小の評価ハーネス(Python)

データセット・実行・判定・レポートという評価ハーネスAgent の評価を繰り返し実行可能にする仕組み一式。データセット・実行系・採点系・レポートの 4 点で構成される。の 4 部品を、最小の形で示すサンプルです。分類タスクを題材に、合格率と失敗ケースを出し、閾値割れなら異常終了(CI 組み込み可)します。次のドキュメントの内容を実装しています。

このサンプルの要点

前提

  • Python 3.11 以降(--mock は追加依存なし・標準ライブラリのみで動きます)
  • 実 API 実行時のみ: Anthropic API キー(環境変数 ANTHROPIC_API_KEY)と pip install -r requirements.txt

実行

# モック実行(API キー不要・依存インストール不要)
python eval_harness.py --mock
echo "exit=$?"   # 合格率が閾値以上なら 0
 
# 実 API 実行(要 ANTHROPIC_API_KEY)
pip install -r requirements.txt
python eval_harness.py

モック実行では 1 ケース(領収書 = 請求)をわざと誤分類し、レポートに NG が 1 件出ます(合格率はちょうど閾値なので終了コードは 0)。閾値割れ(終了コード 1)を確かめるには、eval_harness.py の PASS_THRESHOLD を 0.9 に上げて再実行してください。

動作確認日

以下は過去の確認記録です。

  • モック実行(--mock): 2026-10-03 に確認(Python 3.12.14、追加依存なし。c4のみNG、4/5=80%で閾値80%を満たし終了コード0)
  • 回帰テスト: 2026-09-10 に確認。否定された正解ラベルの誤合格防止と、anthropic 1.4.0 / httpx2 2.12.0 の HTTP モックで生成打ち切りの拒否を確認(実行手順)
  • 実 API 実行: 未確認(各自の環境で確認し、この欄に日付を追記してください)

TODO・未確認事項

モデルの選択

既定モデルは claude-opus-5-5 です(モデル仕様確認: 2026-10-03)。環境変数 ANTHROPIC_MODEL で上書きできます。PowerShell では $env:ANTHROPIC_MODEL = "claude-sonnet-5-5"、POSIX シェルでは export ANTHROPIC_MODEL=claude-sonnet-5-5 を実行してから起動します。--mock は API を呼びません。モデル移行時は強制ツール指定・思考履歴・出力上限の互換性を確認してください。実 API の動作確認日は従来の記録を維持し、今回のモック回帰結果は作業記録に分けます。

AI リテラシー研修の設計mcp-server — 最小の MCP サーバー(Python)