Skip to Content
Docs05. 運用セクション概要

05-operations — 運用・監視

Agent システムを本番で動かし続けるための実務を扱うセクションです。

この章の記事

記事内容
可観測性とトレーシング可観測性とトレーシング(何をログ・トレースすべきか)
コスト管理コスト管理(トークン・キャッシュ・モデル使い分け)
レイテンシ最適化レイテンシ最適化
バージョニング・デプロイ・モデル更新追従プロンプト/モデルのバージョニング・デプロイ(段階的リリース・ロールバック)・モデル更新追従
インシデント対応インシデント対応(暴走・コスト急騰・品質劣化時の停止と復旧手順)
デプロイとスケーリングデプロイとスケーリング(実行形態・状態外部化・レート制限前提の容量設計・多重化)
フィードバックループの運用フィードバックループ利用者からの明示シグナル(評価ボタン)と暗黙シグナル(修正・再試行・放棄)を収集し、評価データセットと改善へ還流させる循環。収集だけでなくトリアージと還流の運用まで含めて 1 つの仕組み。の運用(シグナル設計・収集・評価への還流・運用サイクル)
会話データの管理基盤会話データの管理基盤(収集・マスキング・保持と削除・活用・アクセス統制)
AI のためのデータガバナンスAI のためのデータガバナンスデータの所有責任・品質・利用条件・更新を組織で管理する仕組み。RAG や社内知識を使う Agent では、知識源の品質・鮮度・権限が回答を制約するため、カタログ・品質基準・AI 利用可否を整備する。モデル・検索・推論等の品質管理とも組み合わせる。(知識源のオーナーシップ・データカタログ・品質基準・AI 利用可否の分類)
AI 品質の SLO 設計AI 品質の SLO 設計(AI の SLI 候補・SLO 水準・エラーバジェットSLO の裏返しで、許容できる失敗の量(SLO が 99% なら 1% が予算)。残っていれば変更を進め、使い切ったら変更を凍結して品質改善に回す、という判断の型に使う。運用・対外 SLA・モデル更新との関係)
AI システムのカオスエンジニアリングAI システムのカオスエンジニアリングシステムに意図的に障害を注入し、回復力(フォールバックが本当に動くか)を検証する実践。AI ではプロバイダー障害・モデルの劣化応答・ツール障害・検索の空振りなどを注入対象にし、評価環境から段階的に試す。(AI 固有の障害注入・仮説駆動の演習・実施環境・定常化・還流)
常駐エージェントのライフサイクル管理常駐エージェントのライフサイクル管理(長期劣化の類型・定期メンテナンス・世代交代・個体差・退役)
AI の環境負荷とグリーン AIAI の環境負荷とグリーン AIAI の環境負荷(電力・水・カーボン)を抑える取り組み。特別な技術より、コスト最適化(right-sizing・キャッシュ・バッチ)の多くがそのまま計算量=環境負荷の削減に効く。推計値は前提で大きく動くため断定せず、実削減と相殺(オフセット・証書)を区別する。(負荷の構造・コスト最適化と共通の削減施策・測定の限界とプロバイダー開示の読み方・報告需要への備え・グリーンウォッシュ回避)
── LLMOpsLLM アプリの開発・評価・提供・監視を扱う運用。実験管理・多面評価・CI/CD 等は MLOps と共通し、プロンプト・検索文脈・ツール実行・トークン費用の管理を加える。外部 API 利用か自社学習かで、モデル学習・提供に対する責任範囲が変わる。(モデル運用・インフラ)──モデルを「借りる・持つ・混ぜる」インフラ層。API 前提の運用の下に、提供層そのものの設計を足す(設計は project/plans/content/llmops.md)
セルフホスト推論の実務セルフホスト推論の実務(判断・推論エンジンの類型・スループット・VRAM 見積り・量子化モデルの重みを低い数値精度(INT8・INT4 等)で表現してサイズを縮める手法。VRAM とメモリ帯域の負荷が下がり、同じ GPU により大きいモデル・多い同時実行を載せられる。精度を下げるほど品質が落ちうるため、量子化後の品質は自社タスクで検証してから使う。・監視・モデル更新)
GPU・AI ハードウェアの基礎GPU・AI ハードウェアの基礎(なぜ GPU か・VRAM 概算・メモリAgent が「覚えている」ように見えるデータの総称。短期記憶(コンテキスト)・作業状態・長期記憶(外部ストレージ)の 3 層に分けて設計する。帯域律速・類型・調達 TCO)
LLM ゲートウェイの設計LLM ゲートウェイアプリと LLM プロバイダーの間に置く共通の中継層。キー管理・モデル抽象化(統一 API)・コスト集計・監査・レート制御・ルーティング・フォールバックを 1 か所に集約する。全トラフィックが通るため単一障害点化しやすく、冗長化とモデル固有機能の確保が要点。の設計(キー一元化・モデル抽象化・ルーティング・フォールバック・マルチテナント複数のテナント(顧客・部門)が同一の Agent 基盤を共有する構成です。データ・設定・容量・費用を分けて設計し、認証キーを分けた場合も上流の共有上限と容量の隔離を別に確認します。・落とし穴)
セマンティックキャッシュと応答再利用セマンティックキャッシュ入力の意味的な近さを使い、過去の応答を再利用する出力側キャッシュ。ヒット率は入力分布・しきい値・再利用条件に依存する。「類似 ≠ 同一」による誤ヒットの被害、権限・鮮度・主体の一致を評価して採否を決める。入力側のプロンプトキャッシュとは別物。と応答再利用(キャッシュ階層・誤ヒット制御・無効化・境界・計測)
バッチ処理の設計(バッチ API の活用)バッチ処理の設計(バッチ API の性質・向くワークロード・ジョブ設計・2 経路化)
MLOps と LLMOps の統合MLOps と LLMOps の統合(共通点と相違・既存基盤の再利用・役割分担・FT の合流点)
日本語品質の評価可観測性とトレーシング