長机で印刷資料とチェックリストを突き合わせて確認するコンプライアンス担当チーム
企業のAI実装ロードマップ 第5章

AIガバナンス、証跡、監査

AIガバナンスは、利用禁止事項を並べた規程だけでは機能しません。台帳、リスク分類、責任者、承認履歴、データの出所、変更履歴、評価結果、インシデント記録を運用に組み込みます。

長机で印刷資料とチェックリストを突き合わせて確認するコンプライアンス担当チーム
長机で印刷資料とチェックリストを突き合わせて確認するコンプライアンス担当チーム

AIガバナンスは、利用禁止事項を並べた規程だけでは機能しません。台帳、リスク分類、責任者、承認履歴、データの出所、変更履歴、評価結果、インシデント記録を運用に組み込みます。

AIシステム台帳をつくる

ガバナンスの起点は、社内でどのようなAIが、どこで、誰の責任で動いているかを把握することです。把握していないシステムは統制も監査もできません。SaaSに組み込まれたAI機能や、部門が独自に契約したツールも含めて棚卸しします。

AIシステム台帳の記載項目
項目内容更新の契機
システム名・用途対象業務、利用部門、利用者数導入・廃止・用途変更
リスク分類後述の分類に基づく区分と判定理由用途変更、法規制の更新
責任者業務責任者、システム責任者、データ管理者人事異動
扱うデータデータ区分、保存先、保持期間、越境の有無データソース追加
モデル・提供者モデル名、版、提供事業者、契約条件モデル更新、契約更改
人間の関与自律度の段階、承認者、停止条件運用設計の変更
評価結果直近の品質評価、既知の限界定期評価、モデル更新
インシデント履歴発生日、内容、対応、再発防止策インシデント発生時
[PR]

リスク分類と要求水準の対応

すべてのAI利用に同じ統制を課すと、低リスクの用途まで手続きが重くなり、結果として統制外の利用が増えます。リスクに応じて要求水準を変えるリスクベースアプローチが基本です。

リスク区分と要求される統制
リスク区分該当例要求される統制
個人の権利・利益に影響する判断、安全に関わる制御、対外的な自動応答台帳登録、事前評価、人間の承認、全件ログ、定期監査、影響評価
社外文書の生成、顧客データの分析、業務判断への実質的な関与台帳登録、サンプル監査、ログ保存、年次評価
社内向け下書き、要約、検索補助台帳登録、利用ルールの周知、異常時の報告経路

分類は自己申告に任せず、「個人の権利に影響するか」「対外的に出るか」「不可逆な操作を行うか」といった判定質問を用意し、誰が答えても同じ区分になるようにします。また、区分の判定理由を台帳に残すことが重要です。後から「なぜ低リスクと判断したのか」を説明できる状態を保ちます。

エージェント・自動化システムのトレース

エージェントや自動化システムでは、入力からツール実行、判断、出力までのトレースを保存し、SLA、品質基準、停止条件を定義します。単発の質問応答と異なり、複数ステップの処理では「どこで誤ったか」の特定が難しいためです。

  • ステップ単位の記録:各ステップの入力、呼び出したツール、パラメータ、返却値、所要時間。
  • 判断の分岐点:どの条件でどの経路を選んだか。
  • 承認の記録:人間が承認した箇所、承認者、承認時刻、提示された情報の内容。
  • 相関ID:一連の処理を横断して追跡できる識別子。業務システム側のログとも突合できるようにします。
  • 再現に必要な版情報:モデル版、プロンプト版、参照文書の版数。

トレースは容量が大きくなるため、リスク区分に応じて保存粒度と保持期間を変えます。高リスク用途は全件・長期保存、低リスク用途はサンプリングと短期保存とするのが現実的です。

変更管理と再評価の契機

監査は導入時の一度きりではなく、モデル更新、データ変更、業務変更のたびに再評価します。特にSaaS利用では、提供事業者側のモデル更新が利用者の関知しないうちに行われることがあります。この場合でも、出力品質の変化に気づける仕組みが必要です。

  1. 回帰テストの常設:第2章で作った評価用データセットを定期実行し、スコアの変動を監視します。
  2. ドリフト検知:入力データの分布、利用者の差し戻し率、確信度の分布の変化を追跡します。
  3. 提供者からの通知の管理:モデル更新、提供終了、契約条件変更の通知を受け取る窓口を決めます。
  4. 再評価の判定:スコア低下や差し戻し率上昇がしきい値を超えたら、運用継続の可否を再判断します。
  5. 記録:変更内容、評価結果、判断とその理由を台帳に追記します。

インシデント対応の手順

AI固有のインシデントには、誤出力による業務影響、機密情報の混入、権限を越えた情報の露出、自動処理の暴走などがあります。既存のインシデント対応手順に、AI固有の初動を追加する形で整備します。

インシデント種別と初動
種別初動影響範囲の特定方法
誤出力が下流に流出該当機能の停止または自律度の引き下げ同一プロンプト版で処理した全件をログから抽出
機密情報の外部入力該当利用者の権限一時停止、提供者への削除依頼入力ログから対象データと期間を特定
権限外の情報露出検索インデックスの該当文書を即時除外参照文書IDと利用者権限の突合
自動処理の暴走実行権限の即時失効、処理のロールバックトレースから実行済み操作を列挙

対応後は、再発防止策を台帳と教育教材の両方に反映します。技術的な修正だけで終わらせると、同種の問題が別のシステムで再発します。「なぜこの構成では防げなかったのか」を設計原則の更新まで戻して検討してください。

外部規格・法規制との接続

自社の統制を一から設計する必要はありません。既存の枠組みを参照し、自社の台帳項目や評価手順に対応づけることで、監査時の説明と、将来の規制対応の両方が容易になります。

  • NIST AI RMF:統治・特定・測定・管理の4機能でリスク管理を整理する枠組み。台帳と評価手順の設計に有用です。
  • ISO/IEC 42001:AIマネジメントシステムの規格。認証取得を目指さない場合でも、要求項目は点検表として使えます。
  • EU AI Act:リスク区分に応じた義務を定めた規則。EU域内でサービスを提供する場合は、該当性の確認が必要です。
  • AI事業者ガイドライン(経済産業省・総務省):国内での実務指針。開発者・提供者・利用者の役割ごとに整理されています。

関連情報と参考資料

サイト内の関連ページ

関連用語

外部の参考資料