LLMの評価と取り分けたケース
LLMやRAGの評価方法でまず守ることは、プロンプトを直すのに使ったケースを、評価の根拠にしないことです。直すのに使ったケースは、もう汎化の独立した証拠になりません。開発用と取り分けた評価用のデータセットは、ケースのIDが重ならないようにします。架空の方針のアシスタントなら、開発用の例にないソースのリビジョンを持つケースを評価用に残し、結果に点を付ける前に、IDで分け方を確かめてください。
比較と評価指標
比較に使うケースと版は固定します。出力がなかったケースや、新しく失敗したケースは、評価指標の分母からこっそり外さずに報告します。平均が良くなった候補でも、必ず守るべきテナントの境界を破るなら、リリースは不合格です。
手元の評価のハーネス
このコースは、用意された出力をPythonのはっきりしたルールで採点します。学べるのは、分け方の正しさ、分母、リリースのゲートで、実際のLLMの質を測るものではありません。続けてケースごとの安全性のゲートと固定した回帰の比較を練習してください。
製品の仕組みは変わります。OpenAIのEvalsのドキュメント(英語、2026年11月14日に確認)は、ホスト型のEvalsを非推奨で読み取り専用とし、11月30日に終了する予定だと記しています。このレッスンで新しいホスト型のEvalsのジョブを作ることはありません。方法を実際の環境に移すときは、提供元の最新のドキュメントを使ってください。