プロンプトの版管理｜指示文・モデル・評価結果を対応づけて残す

業務で使うプロンプトを改善するときは、最新の文章を保存するだけでなく、どの条件で確認し、どの版を使っているかを追えるようにしましょう。指示文を少し変えたつもりでも、以前の評価結果がそのまま新しい版の根拠になるとは限りません。

この記事では、チームで使う要約や文書作成の指示文について、版管理の最小限の項目を整理します。特定ツールを新しく導入することを前提にせず、既存の保管方法でも始められる考え方です。

指示文と、実行した条件を一緒に残す

Google Cloudのプロンプト管理資料では、テンプレートやデータの保存、取得、版管理の機能が説明されています。Google Cloudのプロンプト管理

利用する製品に専用機能がある場合も、何を保存対象とするかを確認してください。指示文だけでなく、結果に影響するモデル、設定、参照資料の状態を対応づけることが、比較の出発点になります。

入力に秘密情報が含まれる場合、本文を誰でも見られる履歴へ複製する必要はありません。許可された保管先への参照と、再確認に必要な条件を残します。

「もっと良くする」だけでは、変更の効果を確認しにくくなります。たとえば「要約で条件が省略される」「資料にない内容を補ってしまう」と、直したい問題を特定します。

そのうえで、変更する指示、確認する入力、改善と判断する条件を対応づけます。モデルも参照資料も同時に変える必要がある場合は、指示文だけの効果を比較したとは説明しないでください。

比較用の評価ケースは、変更前後で同じ版を使います。ケースを追加する場合も、以前からの比較対象と、新しく見つかった問題の確認を分けると、結果を読みやすくなります。

架空の業務要約で、本文は短くなる一方、「承認後に実施する」という条件が省略される問題を考えます。

旧版は「要点を短くまとめる」という指示、新版は「決定事項と条件を分け、資料で確定していない点を補わない」という指示を加えた案とします。この変更例は性能を保証する文面ではなく、比較の記録方法を示すものです。

一つの入力で改善しても、別の入力で問題が増えていないかを確認します。全ケースの点数だけでなく、どの失敗が減り、何が残ったかを残しましょう。

試した指示文がそのまま共有テンプレートへ上書きされると、他の利用者が検証前の版を使うことがあります。試行中と採用中の置き場所や表示を分け、正式に切り替えた日と担当を記録します。

共有先が複数ある場合は、どこで使われているかを確認します。文書の最新版を変えただけで、各システムや利用者の手元へ同じ版が届いたとは限りません。配布先と確認方法を決めてください。

同じ版でも回答が常に完全一致するとは限らないため、版管理を再現性の保証と説明しないことも重要です。何を固定し、どこに変動があり得るかを記録として残します。

新しい版で問題が見つかったら、影響した用途と入力の範囲を確認します。以前の版へ戻す場合は、戻す理由、対象の利用先、再評価する条件を残してください。

最初は一つの共有プロンプトについて、採用版、変更理由、確認結果の三つをつなげるところから始められます。評価ケース自体の作り方は、生成AIの評価データで扱っています。版を増やすことより、採用した判断を後から説明できる状態を目指しましょう。