自分の例で動作するプロンプトでも、新しいケースでは失敗することがあります。評価のセットは、指示の改訂に使う例とは別にしておいてください。通常の依頼、あいまいな境界、悪意のあるソースのテキスト、欠けているコンテキストを含めてください。このレッスンでは、ケースごとの失敗の記録と、バージョン付きのプロンプトとフィクスチャを必須にします。集計の合格率では、少数の安全でない操作が隠れることがあるので、改訂を勧める前に失敗のカテゴリーを確認してください。練習のアシスタントは決定的ですが、この方法は、繰り返して文書化した評価によって、確率的なシステムにも応用できます。ケースが導入するつもりのタスクを表していない場合は、スコアに本番の品質という名前を付けないでください。