ROI、品質、コストの継続改善

測る指標を4群に整理する

AIの効果測定が難しいのは、削減時間だけを見ると過大評価になり、コストだけを見ると価値が見えないためです。効果・品質・コスト・定着の4群を同時に見ることで、「品質を落として速くなっただけ」「使われていないのに費用だけ出ている」といった状態を検出できます。

ROIの組み立てと落とし穴

ROIは「削減工数×人件費単価 − 総コスト」で概算できますが、この単純式には2つの落とし穴があります。

1. 削減した時間が実際に別の価値に使われたか：1人あたり1日15分の削減は、実際には人員削減にも新規業務にもつながらず、金額効果として計上できない場合があります。削減時間を何に振り向けるかを、導入時に決めておく必要があります。
2. 確認工数が計上されているか：AIが出力した結果を人が確認する時間は、新たに発生したコストです。これを計上せずに削減効果だけを数えると、ROIは実態より大きく出ます。

また、金額換算が難しい効果（品質の安定、属人性の解消、新人の立ち上がり速度、リスク低減）は、無理に金額化せず、別枠の指標として並列で報告する方が説得力があります。無理な金額換算は、後から前提を突かれて全体の信頼を損ないます。

品質を保ったままコストを下げる

品質が上がってもコストが過大なら、モデル、プロンプト、検索、キャッシュ、バッチ処理を見直します。最高性能のモデルを全処理に使う構成は、多くの場合コストの大部分を占めながら、品質への寄与は一部の難しいケースに限られています。

• タスク別のモデル選択：分類や抽出など定型的な処理は小型・低コストのモデルに寄せ、難易度の高い生成のみ上位モデルを使います。
• 段階的処理：まず低コストのモデルで処理し、確信度が低い場合のみ上位モデルに回します。
• キャッシュ：頻出する質問や共通の文脈はキャッシュを活用し、同じ入力の再処理を避けます。
• 検索の改善：RAGでは、渡す文脈量を減らしても品質が落ちない範囲を検証で見極めます。文脈量はコストに直結します。
• バッチ処理：即時性が不要な処理はまとめて実行し、単価の低い経路を使います。
• 出力長の制御：不要に長い出力はコストと確認工数の両方を増やします。用途に応じた上限を設けます。

重要なのは、変更のたびに評価用データセットで品質を確認することです。コスト削減の変更が品質を落としていないかを、感覚ではなく数値で判定できる状態を保ってください。

変化を前提にした運用

モデルの更新や利用者の慣れによって、性能や利用パターンは変化します。導入時に良好だった構成が、半年後も同じ品質である保証はありません。定期評価、ドリフト検知、費用上限、モデル切り替え基準を設けます。

学習する運用サイクルにする

改善サイクルを回すには、「誰が、いつ、何を見て、何を決めるか」を定例化することが必要です。指標を集めるだけで、見る場と決める人がいなければ改善は起きません。

1. 週次：運用担当が、エラー・停止・費用超過・差し戻し率の異常を確認し、必要なら即時対応します。
2. 月次：業務責任者と運用担当が、効果・品質・コスト・定着の4指標を確認し、改善項目を決めます。
3. 四半期：回帰テストの実施、失敗事例の教材化、教育内容の更新、台帳の見直しを行います。
4. 年次：投資判断の再評価、モデル・ベンダーの見直し、手動復旧訓練、監査の実施。

この定例に、第4章の教育更新と第5章の台帳・監査を接続すると、運用・教育・統制が同じ情報を見て動くようになります。別々の担当が別々の資料を見ている状態が、改善が進まない最も一般的な原因です。