LLM evaluation dan kasus held-out
Pengembangan dan evaluasi
Kasus yang dipakai untuk mengubah prompt tidak lagi menjadi bukti independen tentang kemampuan generalisasinya. Pastikan identitas kasus pengembangan dan held-out tidak beririsan. Untuk asisten kebijakan rekaan, simpan satu kasus dengan revisi sumber yang tidak ada pada contoh pengembangan. Periksa pemisahan berdasarkan identitas sebelum memberi skor.
Bekukan kasus dan versi yang dipakai dalam perbandingan. Laporkan output yang hilang dan kasus yang baru gagal; jangan mengeluarkannya dari penyebut perhitungan. Kandidat dengan nilai rata-rata lebih tinggi tetap gagal memenuhi syarat rilis jika melanggar batas tenant yang wajib dipatuhi.
Evaluasi lokal
Kursus menilai output yang sudah disiapkan melalui aturan Python yang eksplisit. Anda melatih integritas pemisahan data, penyebut perhitungan, dan syarat rilis. Hasilnya tidak mengukur kualitas LLM yang berjalan langsung. Lanjutkan dengan rubrik penilaian dan perbandingan regresi.
Konfigurasi produk dapat berubah. Dokumentasi OpenAI Evals, yang diperiksa pada 14 November 2026, menandai layanan Evals hosted sebagai deprecated dan hanya dapat dibaca, dengan penutupan dijadwalkan pada 30 November. Pelajaran ini tidak meminta Anda membuat job Evals hosted baru. Gunakan dokumentasi vendor terbaru saat menerapkan metode ini pada lingkungan langsung.