AIリテラシー インシデントレスポンス

インシデントレスポンスとは

インシデントレスポンス（IR）は、AIシステムに何らかの異常事態（インシデント）が発生した際に、組織として迅速かつ適切に対処するための一連のプロセスです。一般的なサイバーセキュリティのIR（NIST SP800-61など）をベースに、AI特有のリスク要因（ハルシネーションによる誤情報拡散、差別的発言、プロンプトインジェクションによる情報漏洩など）への対応手順を組み込んだ「プレイブック」を事前に策定します。

対応フェーズは主に以下の4段階です。

1. 検知・分析: 異常検知アラートを受け、それが本当にインシデントか（誤検知でないか）をトリアージする。
2. 封じ込め・根絶: 被害拡大を防ぐため、エージェントをネットワークから遮断したり、特定の話題に対する回答を強制ブロックしたりする。
3. 復旧: 安全確認済みの旧バージョンモデルへのロールバック（切り戻し）や、パッチ適用を行う。
4. 事後活動: 再発防止策を策定し、学習データの見直しやガイドラインの改定を行う。

監査におけるチェックポイント

監査では、「絵に描いた餅」になっていないかを確認します。素晴らしいマニュアルがあっても、それを実行できる権限者が夜間に連絡がつかなければ意味がありません。定期的な避難訓練（机上訓練や実動訓練）が行われているか、緊急停止スイッチ（キルスイッチ）が正常に機能するかが評価されます。

実務での課題と対策

AIインシデントの難しさは「正解が曖昧」な点です。例えば、ユーザーが不快感を訴えたとしても、それがAIの差別発言によるものか、単にユーザーの意見と合わなかっただけなのか、判断に迷うケースがあります。対策として、倫理的なグレーゾーンに対する判定基準（エスカレーションマトリクス）を明確化し、CSIRT（シーサート）内にAI倫理の専門家を配置することが推奨されます。

失敗例・トラブル事例

• 権限不在の空白時間: チャットボットがSNSで暴言を吐き始めた際、停止権限を持つ担当者が休暇中で、代理担当者もパスワードを知らず、数時間にわたって炎上し続けました。権限委譲のルール不備が原因です。
• 証拠の消失: 復旧を急ぐあまり、問題を起こしたエージェントのコンテナをいきなり削除して再起動してしまいました。ログやメモリダンプを取得していなかったため、原因究明（フォレンジック）ができず、同じ障害が再発しました。

関連リンク

• AI Incident Database
• JPCERT/CC (Japan Computer Emergency Response Team)