エージェントベンチマークの全体像

この記事の目的

エージェントの能力を測る公開ベンチマークの地図(どのカテゴリのベンチマークが何を測るか)と、スコアの読み方(ハーネスモデルの外側 — ループ・ツール・フィードバック・環境・制御の総体。同じモデルでも作り込みで性能と信頼性が変わるため、モデルと並ぶ一級の設計対象として扱う。依存・試行ばらつき・汚染・飽和・自己報告と第三者実測の区別)を身につけ、モデル・エージェント選定の参考情報として正しく使えるようになります。中心メッセージは 1 つです — ベンチマークは地図であって、自社品質の保証ではありません。

本記事は鮮度リスクの高いページです。 ベンチマークの顔ぶれ・飽和状況・リーダーボードの運用状態は月単位で変わるため、引用の際は必ず本文冒頭の最終確認日と各公式ページを確認してください。

対象読者

• モデルやエージェント製品の選定・比較でベンチマークスコアを引用・解釈するエンジニア
• 「ベンチマーク 1 位」という宣伝文句を検証できるようになりたいテックリード・意思決定者

前提知識

• Agent 評価の基礎 — 自社タスクの評価設計(本記事はその外側にある公開ベンチマークを扱います)
• モデル選定ガイド — ベンチマークが選定判断のどこに位置づくか

本文

最終確認日: Terminal-Bench 4.0 の改訂・実行条件・表示数値は 2026-09-28、WebArena-Verified の評価方式は 2026-09-17。その他の行は従来の確認日を参照してください。公式画面から取得した数値と条件はリポジトリ内 research/professional/benchmarks.md に記録し、本記事では比較時の注意点を扱います。

概要: ベンチマークの 3 つの正しい用途

公開ベンチマークが答えられるのは「このモデル・エージェントは、そのベンチマークのタスク分布で、その実行条件なら、どの程度できるか」だけです。自社タスクの分布は必ずそれと異なるため、自社品質は自前の評価データセットで測るのが正です(Agent 評価の基礎)。そのうえで、ベンチマークには 3 つの正しい用途があります。

1. 候補の足切り: 明らかに水準未満の候補を早期に除外する
2. 相場観: 「業界の最前線がどの水準まで来たか」「何がまだ難しいか」を把握する
3. 能力の変化検知: 新モデル登場時に、自社評価を回す価値があるかの一次判断

図を元の大きさで表示

図の中をスクロールして読めます。キーボードでは図の領域へ Tab で移動し、矢印キーを使います。読み終わったら、この見出しをもう一度選ぶと閉じます。

カテゴリ別の地図

このほか、ML 実務(MLE-bench)・研究再現(PaperBench)・情報探索(BrowseComp)など特化型が多数あります。2025〜2026 年には「飽和 → より難しく・長時間・動的な後継版へ改訂」という流れがあります(SWE-bench → Pro、Terminal-Bench 2.x → 3.0、OSWorld → 2.0、Mind2Web → 2、GAIA → GAIA2、τ-bench → τ³)。一方、Terminal-Bench 3.0 → 4.0 は計算資源の校正や課題の修正も含み、難化だけでは説明できません。ベンチマーク名は単体ではなく「ファミリー名 + 版」で読み、どの版のスコアかを必ず確認してください。

読み方 1: スコアは「モデル × ハーネス」の値

エージェントベンチマークのスコアは、モデル単体ではなくモデルとスキャフォールド(scaffold。ループ・ツール・リトライ戦略などのハーネス構成)の組に付きます。同一モデルでも、最小構成のハーネスと、並列複数試行 + 結果選択のような最適化ハーネスでは、スコアが数ポイントから数十ポイント変わることが公式資料・研究の両方で示されています。同じベンチマークでも、統一ハーネスによる実測の上位帯と、各社の最適化ハーネスによる自己報告の集約とで大きく乖離している例もあります。

だからこそ、誰がどの条件で実行したスコアかが数値そのものより重要です。

読み方 2: 試行ばらつきと信頼性

エージェントは同じタスクでも試行ごとに成否が揺れます。通常報告される pass@1(1 回試行の成功率)に対し、τ-bench が導入した pass^k は「k 回すべて成功する確率」で、業務の信頼性に近いのはこちらです。同成功率でも pass^k は大きく下がることが示されており、「8 割できる」と「8 割を安定してできる」は別物です。複数回実行の平均やばらつきを報告するリーダーボードは少数派なので、1 回実行のスコア差が数ポイントなら「誤差の範囲かもしれない」と読むのが安全です。

読み方 3: 汚染・飽和・ベンチマーク自体の品質

• 汚染(contamination): 公開リポジトリ・公開問題から作られたベンチマークは、モデルの学習データに混入しえます。「問題文を見ただけで該当ファイルを言い当てる」といった記憶の証拠も報告されています。対策として、非公開のホールドアウトセット(hold-out set)を持つ設計や、新しい問題を継続追加して日付でフィルタできる設計のベンチマークが増えており、汚染耐性のある版のスコアを優先して見ます
• 飽和: 人間ベースラインに到達・超過したベンチマークでは、上位モデル間の差が出ず、残る差は汚染・ハーネス・採点ノイズの影響を強く受けます。飽和したベンチマークの順位で最新モデルを比較しない、が原則です
• ベンチマーク自体の品質: 問題文の曖昧さ・不当に厳しいテスト・正解の誤りは、有名ベンチマークでも大量に見つかってきました(人手検証で元データの約 7 割が除外されたと報告される例、タスク修正でスコアが 2 桁ポイント動いた例があります)。数ポイントのスコア差は、モデルの実力差ではなくベンチマーク品質のノイズである可能性を常に考慮します

読み方 4: コストの軸を足す

精度だけの比較は、「わずかに高精度だが桁違いに高コスト」なエージェントを過大評価します。コスト × スコアの 2 軸 — パレートフロンティア(Pareto frontier)— で表示するリーダーボードを優先して参照し、自社の選定でも「成功あたりコスト」で比較します(コスト管理・モデル選定ガイドの判断軸と同じです)。

実務での使い方: 3 段階のフィルタ

1. 自タスクに近いカテゴリで足切り: カスタマー対応エージェントなら τ 系、社内 PC 操作の自動化なら OSWorld 系、というように、自社タスクと同じ「型」のベンチマークを見ます。関係の薄いカテゴリの高スコアは判断材料になりません
2. 第三者実測で相場観を補正: 自己報告値しかない場合は、第三者実測系(HAL・検証制度付きリーダーボード・独立評価サイト)で水準感を補正します
3. 最終判断は自社評価セット: 候補を 2〜3 に絞ったら、自社の評価データセット(評価データセットの構築と保守)での測定で決めます。ベンチマークで決めてよいのは「試す順番」までです

コーディングエージェントコードベースを読み、ファイルを編集し、コマンドを実行して検証するループで開発タスクを遂行する Agent。コード補完と異なり「タスク単位の委任」を受けられる。(ツール製品)の選定という文脈でのベンチマークの読み方は、コーディングエージェントの評価が具体的に扱っています。

ベンチマークの難化と検証修正を分ける

2026-09-17 の Terminal-Bench 公式サイトは 4.0 を掲載しています。4.0 は時間・CPU・メモリの条件を校正し、8 課題を除き、19 課題を修正した改訂です。除外理由は飽和、拒否、解答の公開、未解決の品質・プラットフォーム互換性問題が各 2 課題です。全課題のエージェントの実行時間上限(agent timeout)は 8 時間で、これは所要時間ではなく上限です。環境や課題集合を変える メジャー版(major version)間では再実行が必要で、旧版のスコアと直接比較しません。

公式実行手順は Harbor と版を固定したデータセットを使い、GPU 必須課題に対応するサンドボックスモデルが生成したコードの実行やコンピュータ操作を、本番システムから隔離された使い捨て環境(ネットワーク・資源制限付き)で行う仕組み。(sandbox)を求めます。タスク集合・ハーネス・資源条件・試行回数を揃えて比較します。2026-09-28 は公式画面で解決率(resolution rate)・費用・95% 信頼区間の数値を取得できました。Harbor Hub には同じモデル・エージェントでも推論努力(effort)別の行があり、費用と信頼区間が異なります。推論努力も比較条件に含め、表示順位だけでモデルの優劣を決めません。

費用欄には欠測を含む行があります。例えば同日の Harbor Hub の Grok 4.7 行は partial: 324/330 と表示され、トップページの丸めた金額だけではこの条件が見えません。詳細の対象件数と欠測表記まで確認します。費用に含まれる項目・算定単価は今回も確定できていないため、インフラ費用を含む総額とは解釈しません。実ベンチマークを再実行した結果ではなく、公式表示の観測です。

WebArena-Verified は、課題・参照解・評価器を人手で点検し、応答と保存した network trace に対して決定的な評価を行う派生です。旧 WebArena の飽和という報告を、修正された評価器や Hard subset へ一般化しません。難化だけでなく、採点の妥当性を直す改訂も区別して追います。

実務での注意点

アンチパターン

チェックリスト

関連トピック

• Agent 評価の基礎 — 自社評価の設計(本記事の「最終判断」の実体)
• 評価データセットの構築と保守 — 自社版ベンチマークの作り方(汚染防止の考え方は自社評価にも適用できます)
• モデル選定ガイド — ベンチマークを選定判断に位置づける側
• コーディングエージェントの評価 — ツール製品選定の文脈でのベンチマークの読み方
• ハーネスエンジニアリング — ハーネス依存という読み方を「設計側」から扱う記事
• AI 出力の検証習慣 — ベンチマークの高スコアを鵜呑みにしない個人の検証習慣(汚染の割り引き)
• AI 情報の追い方(一次情報の目利き) — ベンチマークの読み方を情報源全般の目利きに一般化(自己報告・ハイプの割り引き)

参考資料

• Terminal-Bench 公式表示  — effort 別の結果・費用の欠測表示 / CLI 環境での評価タスクと測定条件 / ターミナル作業ベンチマークと検証付きリーダーボード(アクセス日: 2026-09-28)
• Harbor Hub の 4.0 リーダーボード  — effort 別の結果・費用の欠測表示(アクセス日: 2026-09-28)
• Terminal-Bench 4.0 の改訂内容  — 資源条件・課題修正・版ごとの再実行(アクセス日: 2026-09-17)
• 公式実行手順  — 資源条件・課題修正・版ごとの再実行(アクセス日: 2026-09-17)
• WebArena Verified README  — タスク・評価器の再検証範囲(アクセス日: 2026-09-17)
• SWE-bench 公式サイト  — コーディング系の代表ファミリー(Lite / Verified / Multilingual / Multimodal)の正本(アクセス日: 2026-08-18)
• WebArena-Verified  — 修正課題と network trace による評価(アクセス日: 2026-09-10)
• OSWorld  — コンピュータ操作の実行ベース評価(Verified・2.0 への経緯を含む)(アクセス日: 2026-08-18)
• GAIA: A Benchmark for General AI Assistants(arXiv)  — 汎用アシスタント評価の代表(アクセス日: 2026-07-07)
• Humanity’s Last Exam  — 専門知識の限界試験とホールドアウト設計(アクセス日: 2026-08-18)
• τ-bench(arXiv)  — 対話 + ツール使用と pass^k(信頼性)指標の原典(アクセス日: 2026-07-07)
• Holistic Agent Leaderboard(Princeton HAL)  — 第三者統一実測 + コスト × スコア表示の代表(アクセス日: 2026-08-18)
• AI Agents That Matter(arXiv)  — コスト軸・ホールドアウト・標準化というベンチマーク批判の主要論文(アクセス日: 2026-07-07)

TODO・未確認事項

• 一部のベンダー公式ブログ(スコア発表・ベンチマーク評価方針の告知)は取得制限により一次ページを直接確認できておらず、ミラー・複数の二次情報に基づいています(内訳は research/professional/benchmarks.md)

変わりやすい項目(定点観測)