AIリテラシー 一貫性検証（Consistency Verification）
一貫性検証とは
一貫性検証は、AIエージェントが同一または類似した状況下で、矛盾のない安定した出力を生成できるかを確認する品質保証プロセスです。生成AIは原理的に確率的な挙動をするため、同じ質問に対しても毎回異なる表現で回答する可能性があります。しかし、銀行の窓口業務AIにおいて「金利はいくらですか？」という質問への回答が、毎回変わることは許されません。表現の多様性は許容しつつ、情報の意味的正確性を維持できているかを測定することが一貫性検証の目的です。
具体的には、「温度パラメータ（Temperature）」を0に近づけて決定論的な挙動を強制する手法や、複数回生成した結果同士の「ベクトル類似度（Cosine Similarity）」を計算し、意味の分散を数値化する手法が取られます。
「自己矛盾」の検出
高度な一貫性検証では、対話履歴の中での矛盾もチェックします。例えば、会話の冒頭で「私は犬が好きです」と言っていたエージェントが、後の会話で「動物は苦手です」と発言した場合、人格的一貫性（Persona Consistency）が破綻しているとみなされます。これらは通常の単発テストでは発見できないため、長いシナリオを用いたストレステストが必要です。
実務での課題と対策
課題は、創造性（Creativity）と一貫性（Consistency）のトレードオフです。マーケティングコピー生成エージェントでは一貫性よりも多様性が求められますが、法務相談エージェントでは厳密な一貫性が求められます。監査においては、ユースケースごとに「許容されるばらつき（Variance）」の閾値を定義し、BERTScoreなどの意味的評価指標を用いて自動判定する仕組みを構築します。
失敗例・トラブル事例
- 再学習後の性能劣化: エージェントの知識ベースを更新した際、「以前は正しく答えられていた質問」に対して誤った回答をするようになりました。一貫性の回帰テスト（Regression Testing）を行っていなかったため、知識の更新が既存の知識に悪影響（Catastrophic Forgettingの一種）を与えたことに気づけませんでした。
- シード値の未固定: 開発環境ではうまく動いていたプロンプトが、本番環境では不安定な挙動を示しました。乱数シード（Seed）や温度パラメータの設定が環境間で統一されていなかったことが原因でした。