AIリテラシー 継続的モニタリング
継続的モニタリングとは
継続的モニタリング（Continuous Monitoring）とは、本番環境で稼働中のAIエージェントの状態を、定量的・定性的に監視し続けるプロセスです。AIモデルは一度作れば終わりではなく、時間の経過とともに環境や入力データの傾向が変わり、性能が徐々に低下する「ドリフト現象」が避けられません。これに対処するため、オブザーバビリティ（可観測性）ツールを用いて、入出力の変化をリアルタイムで追跡します。
監視対象は多岐にわたり、応答レイテンシやエラー率といった「システム指標」、回答精度の低下やハルシネーション率といった「モデル指標」、そしてトークン消費量などの「ビジネス指標」を統合ダッシュボードで可視化します。
監査における役割：異常の早期発見
監査においては、このモニタリング体制が「有効に機能しているか」を評価します。単にデータを集めているだけでなく、異常値が検出された際に自動的にアラートが飛び、運用担当者が迅速に調査・対応できるワークフローが整備されているかどうかが重要です。これはSLA（サービスレベル契約）の遵守状況を証明する根拠ともなります。
実務での課題と対策
「アラート疲れ（Alert Fatigue）」が典型的な問題です。些細な変動ですぐにアラートが鳴ると、担当者は次第に無視するようになり、本当に重要な警告を見逃してしまいます。対策として、異常検知AIを用いて「通常とは明らかに異なるパターン」のみを通知するスマートアラートの導入や、アラートの緊急度に応じた通知チャンネルの振り分け（Slack、メール、電話）が有効です。
失敗例・トラブル事例
- データドリフトの見逃し: ユーザーの若年層化により、入力される言葉遣い（スラングなど）が変化していましたが、モニタリングしていなかったため、AIが意図を理解できず「分かりません」を連発するようになりました。入力データの分布変化（Concept Drift）を監視していれば、早期に再学習を行えた事例です。
- フィードバックループの欠如: ユーザーからの「Good/Bad」評価ボタンを設置していましたが、そのデータを集計・分析するプロセスがありませんでした。せっかくの改善のヒントである「Bad」評価の理由（誤情報など）が放置され、品質が一向に向上しませんでした。