Perbandingan yang adil menjaga identitas kasus tetap terlihat. Kasus gagal yang dihilangkan bukan kasus yang sudah diperbaiki, dan contoh yang baru ditambahkan tidak boleh diam-diam mengubah penyebut. Pisahkan perbaikan, kegagalan baru, penambahan, dan penghapusan sebelum memutuskan apakah revisi prompt boleh menggantikan baseline-nya.
Bandingkan case.baseline dan case.candidate berdasarkan case ID yang sama. Kembalikan ID fixed, new_failures, added, dan removed yang diurutkan. Kasus yang tidak ada di salah satu versi bukan bukti perbaikan.
Notebook menjalankan kode Python Anda terhadap tiruan lokal yang orisinal. Gunakan case yang diberikan, jangan menyalin nilai yang terlihat. Pemeriksaan tersembunyi mengubah identitas, revisi, dan input batas; tidak ada endpoint penyedia atau alat eksternal yang dihubungi.
Contoh implementasi kontrak fungsi.