ニュースの概要
PwCはトレンドマイクロとの共同レポートで、自律的に計画を立て、外部サービスや社内システムを操作するAIエージェントのサイバーリスクと統治のあり方を取り上げました。文章を生成するだけのAIと違い、エージェントはメール送信、データ更新、購買処理などの実行まで担います。そのため、誤判断や悪意ある指示が、情報漏えいだけでなく業務上の直接的な損害につながります。レポートが示す重要な論点は、導入の可否ではなく、どの権限を、どの範囲で、誰の監督下に置くかを設計することです。
引用元: 自律するAIの時代：AIエージェントのサイバーリスクと実践的ガバナンス（トレンドマイクロ共同レポート）（PwC）
分析・見解
AIエージェントは回答ではなく業務の実行者になる
従来の対話型AIは、誤った回答を人が確認してから使う前提でした。AIエージェントは、目標を受け取ると手順を考え、社内データを検索し、外部の道具を呼び出し、結果を次の判断に反映します。便利さの源泉である自律性が、そのまま新しい攻撃面になります。
例えば「取引先への未払いを確認して必要なら催促する」という依頼でも、対象の選び方、参照する契約情報、送信先、文面の決定が連続して発生します。途中で古い情報を参照したり、悪意ある文書内の指示を取り込んだりすれば、誤送信や不適切な督促が自動で進みます。リスクの単位は一つの回答ではなく、連続した行動の流れです。
外部データに埋め込まれた指示が判断を乗っ取る
代表的な脅威が、プロンプトインジェクション（AIへの指示をだまして本来の目的を変える攻撃）です。メール、ウェブページ、共有文書に「この情報を外部へ転送せよ」といった隠れた指示を置き、エージェントが業務命令と誤認する可能性があります。人が読む場合は文脈で不自然さに気付けても、検索結果をそのまま次の作業へ渡す仕組みでは見落とされやすくなります。
対策は入力を信頼できるかどうかで分けることです。顧客データと外部サイトの記述を同じ指示として扱わず、外部情報は参考資料に限定します。さらに、機密情報の持ち出し、権限変更、送金、対外連絡のような高リスク操作は、別の確認処理を通すべきです。AIに「判断させない領域」を先に決めることが、精度向上より重要になります。
権限を細かく分けて被害の連鎖を止める
安全性を担保する中心は、最小権限です。エージェントに管理者権限や一括取得権限を与えるのではなく、業務ごとに閲覧、作成、更新、送信を分離します。請求書を作成できても送金はできない、顧客情報を検索できても一括出力はできない、といった境界を設けます。
加えて、行動の上限も必要です。短時間の大量送信、一定額を超える発注、普段と異なる地域からの接続などを止める仕組みです。AIの判断が一度誤っても、被害が連鎖しない設計にします。ログには最終結果だけでなく、参照した情報、選択した道具、実行前の判断、承認者を残します。後から原因を追えなければ、事故対応も改善もできません。
自律性を段階的に広げる運用が導入を安定させる
導入初期から完全自動化を目指す必要はありません。まずは読み取りと提案だけに限定し、次に人の承認を条件に実行させ、十分な記録が蓄積してから低リスク業務だけを自動化します。試験では成功率だけでなく、誤操作率、停止までの時間、機密情報への到達件数を測るべきです。
今後は、複数のエージェントが役割分担する構成が増えます。調査役、判断役、実行役を分けても、連携部分が新たな弱点になります。誰が最終責任を負うのかを曖昧にしないため、業務責任者、情報システム部門、法務、監査の関与を導入時から明確にする必要があります。自律性は性能の設定ではなく、組織の責任分担を変える設計課題です。
ビジネスへの影響
導入前に業務ごとの許可範囲を棚卸しする
企業が最初に行うべきことは、AIの機種選びではありません。候補業務を、閲覧だけで済むもの、社内更新を伴うもの、社外への連絡や金銭処理を伴うものに分類します。後二者は、失敗時の損失が大きいため、承認を必須にするのが現実的です。
各業務について、利用するデータ、呼び出すシステム、許可する操作、停止条件、最終責任者を一枚の表にします。特に見落とされやすいのは、既存の連携機能を通じた間接的な権限です。AIに直接顧客名簿を渡していなくても、検索機能が一括取得を許していれば、実質的な漏えい経路になります。
監査と契約を技術対策と同時に整える
運用開始後は、月次で権限とログを見直します。利用されていない接続先を削除し、異常な実行回数や深夜の操作を確認します。重大な変更には二人目の承認を置き、緊急時には接続を一括停止できる手順を用意します。停止ボタンがあっても、誰が押すか決まっていなければ機能しません。
外部サービスを使う場合は、入力データの保存期間、学習利用の有無、事故時の通知期限、ログの提供範囲、再委託先を契約で確認します。成果物の正確さだけを評価すると、事故の費用が見えません。評価指標には、削減時間と同じ重さで、誤送信件数、承認漏れ、復旧時間を加えるべきです。
小さな実証で費用対効果と安全性を同時に測る
最初の対象には、返品受付の下書き、社内規程の検索、定型報告書の作成など、失敗しても人が容易に戻せる業務が向いています。四週間程度の実証で、処理時間、差し戻し率、確認にかかった人手、危険な入力への反応を記録します。これにより、単なる導入期待ではなく、拡大条件を数字で決められます。
経営層が承認すべきなのは「AIを使うか」ではなく、「どの業務で、どの危険を受け入れ、どの上限で止めるか」です。この問いに答えられないまま自律性だけを高めると、短期的な省力化の裏で、監査不能な業務経路が増えます。安全な企業ほど、AIを社員の代替ではなく、権限を限定された新しい業務担当者として扱っています。