AIエージェントの実行回数やエラー率は見えるようになったものの、どの数値なら止めるべきか、誰が承認するのか決められず、画面を眺めるだけになっていないでしょうか。通知を増やすほど、重要な異常が日常のアラートに埋もれます。
オブザーバビリティは、問題が起きた後の調査だけではありません。エージェントが何を読み、どのツールを使い、どんな結果を残したかを、業務上の判断へつなげる仕組みです。指標と行動が別々なら、安全策は担当者の勘へ戻ってしまいます。
この記事では、一つの業務で品質・挙動・影響の三層を観測し、閾値ごとに継続、承認待ち、停止、復旧を割り当て、14日間のシャドー運用で実用性を確かめる方法を解説します。
株式会社ラクボは、デジタルマーケティング・DX支援の広告代理店として、AI導入、営業・顧客対応、バックオフィス自動化を支援してきました。10年以上のデジマ経験を活かし、小さな会社でも維持できる運用ルールへ落とし込む考え方をお届けします。
指標を集めるだけでは運用判断にならない
IBMは2026年10月14日、AIエージェントの観測指標をガバナンス上の制御へ結び付けるwatsonx.governanceの更新を発表しました。特定製品の導入が必要という意味ではなく、観測した証拠を承認や停止へ接続する考え方が重要です。
例えばエラー率が上がったという通知だけでは、再試行するのか、人へ渡すのか、全体を止めるのか決まりません。指標ごとに対象業務、平常範囲、判断者、実行する操作、復旧条件を一組で記載します。判断者が不在のときの代行者も決めます。
最初から全エージェントを統合監視しようとせず、顧客情報の更新やレポート作成など、結果を人が確認できる一業務に絞ります。目的はダッシュボードを豪華にすることではなく、異常時の迷いと影響範囲を小さくすることです。
一つの業務で品質・挙動・影響の三層を観測する
品質の層では、事実誤り、差し戻し、必須項目の欠落を見ます。挙動の層では、呼び出したツール、再試行回数、処理時間、権限外の要求を見ます。影響の層では、送信件数、変更したレコード数、費用、顧客への露出を見ます。三層を分けると、処理は成功していても業務結果が間違うケースを拾えます。
一回の実行には共通IDを付け、入力の版、使ったツール、承認者、実行結果、取り消し結果を結びます。会話全文を無条件に長期保存するのではなく、個人情報を減らし、判断の再現に必要な項目だけを残します。保存期間は業務の重要度と社内規程に合わせます。
記録項目と保持期間を先に整理する場合は、AIエージェントのログ保存設計を参考にできます。本記事では、その記録を現場の次の行動へ変える部分に焦点を当てます。
閾値ごとに継続・承認・停止・復旧を割り当てる
平常範囲なら継続し、軽い逸脱は結果を保留して人の承認へ回します。権限外アクセス、取り消しにくい外部送信、金額上限超過など影響の大きい条件は即時停止にします。停止時には新しい処理を受け付けず、進行中の操作を確定済みと未確定に分けます。
復旧は、原因を直しただけで開始しません。同じ入力を隔離環境で再現し、期待結果と一致し、担当者が解除を承認した後に、少件数から再開します。閾値を超えるたび自動で緩めると異常を正常として学習するため、変更理由と承認者を残します。
承認が必要な操作の分け方は、AIエージェントの承認フローと組み合わせると整理できます。高頻度の低影響アラートはまとめ、不可逆な操作は件数に関係なく個別承認へ回します。
14日間のシャドー運用で誤検知と見逃しを見直す
14日間は、エージェントの提案と指標を記録しつつ、実際の更新や送信は従来どおり人が行うシャドー運用にします。毎日、閾値が発火した件数、正しく止めた件数、止める必要がなかった件数、見逃した異常、確認時間を記録します。
一週間後に誤検知が多い指標を調整し、二週間後に低影響な一操作だけ自動実行へ移します。見逃しがあれば観測項目を追加し、承認待ちが滞留するなら閾値だけでなく担当者の割り当てと締切を見直します。停止から復旧までを一度訓練して初めて運用可能と判断します。
自社のAIエージェントに必要な指標、承認、停止、復旧の境界を整理したい方は、ラクボのAI顧問・業務自動化支援をご覧ください。14日間の試験を設計したい場合は、AIエージェント運用の相談窓口でご相談いただけます。