見積作成や顧客台帳の更新をAIエージェントへ試させたところ、一度は成功したのに別の日は違うボタンを押した、という不安はないでしょうか。画面上では完了に見えても、保存されていない、別のレコードを更新した、確認前に送信したという失敗は、最後のメッセージだけでは見抜けません。
原因は、画面操作AIが決まった座標を再生するだけでなく、表示内容を読み、次の行動を選ぶことにあります。柔軟に対応できる反面、業務ルール、権限、例外時の停止、保存後の状態を試験へ変換しなければ、『うまく見えた』ことと『任せられる』ことを区別できません。
この記事では、画面操作AIエージェントを対象に、正常・例外・禁止の試験ケース、操作ログ、保存状態、14日間の段階導入を設計する方法を解説します。
株式会社ラクボは、デジタルマーケティング・DX支援の広告代理店として、営業・顧客対応、バックオフィス、AI導入を支援してきました。10年以上のデジマ経験を活かし、デモの成功を本番運用と混同せず、人の判断を残した実装方法をお届けします。
画面操作AIは最終回答だけでは評価できない
OpenAIは2026年10月6日、Ironcladとの研究を通じ、専門ソフトを扱うAIには個別操作だけでなく、会社の業務ルールを理解し、複数段階を実行し、元の要件を満たしたか検証する力が必要だと説明しました。これは契約業務に限らず、経費精算、CRM更新、受注処理などにも共通します。
公式発表が示すように、評価対象は文章の自然さではありません。正しい対象を選んだか、許可された順序で進んだか、承認が必要な地点で止まったか、保存後の状態が要件どおりかを確認します。途中で誤操作して偶然正しい結果になった場合も、再現性のある成功とは扱いません。
最初の対象は、取り消せる下書き作成や試験環境の更新にします。送信、支払い、削除、契約確定は分離し、人が承認するまで実行できない構成にします。
業務ルールを正常・例外・禁止の試験へ変える
業務手順をそのまま一つの試験にせず、正常、例外、禁止の三群へ分けます。正常は必要情報がそろった申請、例外は必須項目不足や重複、禁止は権限外の顧客や上限超過です。それぞれに開始状態、許可する操作、期待する終了状態、止める条件を記載します。
例えば見積下書きなら、正常時は顧客、商品、単価、税区分を選び下書き保存まで進めます。単価が未登録なら担当者へ確認して停止し、値引き上限を超える場合は承認依頼だけを作ります。存在しない情報を補って完了させることは失敗です。表現違い、順序違い、空欄、通信遅延も少数ずつ混ぜます。
権限と承認地点の決め方は、AIエージェントの承認フロー設計を参考にできます。試験ケースと本番の権限表を同じ担当者が更新し、片方だけが古くならないようにします。
画面表示ではなく保存後の状態まで確認する
画面に『完了』と出ても、それだけでは合格にしません。対象レコードのID、保存された値、更新時刻、履歴、外部送信の有無を別の読み取り経路で確認します。エージェント自身の報告を、そのまま成功判定へ使わないことが重要です。操作ログには画面、クリック対象、入力値、応答、再試行、承認を残します。
評価は、完了率だけでなく、誤更新ゼロ、権限外操作ゼロ、必要な停止率、重複作成率、人の修正時間を分けて記録します。通信エラー後に再実行する場合は、同じIDを検索して既存の下書きを再開できるかも試します。新しいレコードを作り直して見かけ上成功すると、実務では二重請求や重複連絡につながります。
再実行と重複防止は、AIエージェントの長時間タスク再開設計も役立ちます。正常系より先に、失敗後の確認手順を固定します。
14日間の試験で任せる範囲を一段ずつ広げる
1〜3日目は試験環境で三群のケースを各3件実行し、4〜7日目は過去データを匿名化して表現や順序の違いを増やします。8〜14日目は本番画面を使っても更新は下書きまでとし、人が同じ業務を並行して結果を照合します。エージェントを改善した日は版を記録し、前の合格ケースも再試験します。
合格の目安は業務影響で変わります。誤更新と権限外操作は一件でも停止、下書きの軽微な表記修正は人の修正時間で評価するなど、重要度を分けます。14日後も、低影響で取り消せる一操作だけを自動化し、次の範囲は別の試験として承認します。
画面操作を含むAI業務自動化の対象と試験を整理したい方は、ラクボのAI顧問・業務自動化支援をご覧ください。自社の正常・例外・禁止ケースを作りたい場合は、AIエージェント試験設計の相談窓口でご相談いただけます。