AIエージェントに返金、顧客情報更新、ファイル整理を任せたい一方、命令の形式が正しければ何でも実行されてしまうのではと不安ではないでしょうか。特に、通常と違う金額や対象でも処理が通ると、後から理由を追えません。
原因は、危険な単語や不正な構文だけを止め、操作が本来の業務目的に合っているかを実行直前に確認していないことです。正しいAPI形式でも、返品条件に合わない返金や、担当外の顧客更新は止める必要があります。
この記事では、入力、出力、ツール実行の三つの境界を分け、操作の意図、金額、対象、連続回数を判定して人へ戻すガードレールを解説します。小規模な過去事例で誤停止と見逃しを測る方法も紹介します。
株式会社ラクボは、AI自動化を動かすだけでなく、権限、承認、監査、例外対応まで含めて運用を設計しています。少人数の会社でもルールを読み直し、変更理由を説明できる仕組みを重視します。
入力・出力だけでなく操作直前の意図を確認する
入力ガードレールは依頼を受けた時点、出力ガードレールは最終回答、ツールガードレールは外部操作の直前と直後を確認します。顧客データ更新や送信では、最終文面だけでなく、どのツールを誰のために何件実行するかを直前に判定します。
OpenAIのAgents SDKガードレール資料も、関数ツールの呼び出し前後を検証する仕組みを区別しています。業務では、入力が無害でも途中の計画変更で対象が広がるため、操作境界での確認が重要です。
たとえば『未開封の物理商品を返品する』依頼が、調査中に『開封済みソフトウェアの返金』へ変わった場合、SQLやAPIの構文は正しくても意図は規定外です。対象、金額、根拠、承認状態を操作直前の一つの判定材料にまとめます。
業務ルールを読める条件式へ変換する
業務ルールは、担当者が読める短い条件へ変換します。『3万円を超える返金は上長承認』『一括更新は10件まで』『退職済み担当者の顧客は自動変更しない』のように、対象、閾値、例外、必要な承認を明示します。モデルだけに常識判断を任せません。
Googleが2026年9月15日に公開したゼロトラストAIエージェントの実装例は、構文だけでなく操作意図を実行時に判定し、ルールを平文で管理する考え方を示しています。重要なのは製品ではなく、現場が基準を変更できることです。
条件に合わない場合は、拒否、保留、再入力、人の承認へ分けます。すべてを拒否すると業務が止まるため、根拠不足は再入力、規定外金額は承認、禁止対象は拒否というように次の行動まで設計します。
異常な連続操作と金額・対象の変化を検知する
単発では問題がなくても、短時間に返金が続く、対象顧客が急に増える、普段使わないツールへ切り替わる場合は異常です。実行IDごとに件数、累計金額、対象範囲、失敗回数を集計し、通常値から外れた時点で処理を止めます。
既存のAIエージェントのプロンプトインジェクション対策が外部指示の乗っ取りを防ぐのに対し、意図ゲートは正規の依頼に見える操作も業務規定と照合します。二つを別の検査として置くことで、原因を説明しやすくなります。
停止ログには、入力全文より先に、適用ルール、判定値、止めた操作、対象、再開条件を残します。個人情報を必要以上に複製せず、監査担当が『なぜ止まったか』『誰が再開できるか』を確認できる粒度にします。
20件の過去事例で停止精度を小さく試す
最初は、実際の操作をせず判定だけを記録するシャドーモードで試します。正常10件、承認が必要な5件、拒否すべき5件など、過去の事例20件を用意し、期待する判定と照合します。境界値の直前と直後も必ず含めます。
指標は、危険操作の見逃し、正常操作の誤停止、判定時間、人へ回した後の解決時間です。見逃しゼロを優先しつつ、正常業務の誤停止が多いルールは条件を細分化します。ルール変更後は同じ事例で再試験し、版を記録します。
実行時ガードレールを業務へ組み込む場合は、ラクボのAI顧問・期間限定AI部署で、対象業務の棚卸しから承認基準、監査まで設計できます。操作を止める基準を整理したい方は、AIエージェント安全運用の相談窓口をご利用ください。