AIリテラシー CI/CDパイプライン

CI/CDパイプラインとは

CI/CD（Continuous Integration / Continuous Delivery）パイプラインは、ソフトウェアの変更からリリースまでのプロセスを自動化する仕組みです。AIエージェント開発においては、プロンプトエンジニアが「プロンプトの一部を修正」してGitにプッシュすると、自動的に「100問の品質テスト」が走り、前回と比較して精度が落ちていないか（リグレッションがないか）を検証し、問題なければステージング環境へデプロイするというフローを実現します。

通常のソフトウェア開発と異なり、AI開発ではコードだけでなく「データ」「モデル」「プロンプト」のバージョン管理が必要となるため、これらを統合的に扱うMLOps基盤としての役割も果たします。

監査における重要性：変更証跡の確保

監査人が最も重視するのは「再現性」です。「現在の本番環境で動いているエージェントは、具体的にどのバージョンのプロンプトとモデルを使用しているのか？」という問いに対し、CI/CDパイプラインのログは決定的な証拠を提供します。誰が承認し、どのようなテストをパスしてリリースされたかが一元管理されるためです。

実務での課題と対策

LLMを含むテストの最大の課題は「実行コスト」と「時間」です。すべてのコミットに対して数百件のLLM呼び出しを伴うテストを行うと、APIコストが膨らみ、完了まで数十分かかってしまいます。対策として、「スモークテスト（重要な5件のみチェック）」をPR作成時に実行し、「フルリグレッションテスト」は夜間の定期実行やリリース直前のみに行うといった階層化が有効です。

失敗例・トラブル事例

• 手動デプロイによる事故: CI/CDを整備せず、担当者が手作業で本番サーバーのプロンプトファイルを書き換えていました。ある日、コピペミスで不完全なプロンプトが反映され、エージェントが全ユーザーに対してエラー応答を返す事態となりました。自動化によりヒューマンエラーを排除すべきでした。
• テスト環境との乖離: テスト環境ではGPT-3.5、本番ではGPT-4を使っていました。「上位互換だから大丈夫」と高を括っていましたが、GPT-4特有の冗長な回答傾向により、出力文字数制限に引っかかり、本番でのみ回答が途切れるバグが発生しました。環境の一致（Parity）は鉄則です。

関連リンク

• GitHub Actions
• Machine Learning CI/CD Pattern