Prediksi probabilitas 0,8 menyatakan klaim tentang frekuensi, sedangkan peringkat hanya menyatakan observasi mana yang harus didahulukan. Kalibrasi mengevaluasi klaim frekuensi itu. Anda akan melakukan fit kalibrator sigmoid dengan fold yang disisihkan, menghitung Brier loss, dan memeriksa titik reliabilitas. Bin kosong bisa tidak muncul di output, jadi jangan berasumsi setiap bin yang diminta memiliki observasi. Pemetaan yang naik murni mempertahankan urutan skor meskipun mengubah error probabilitas. Perbedaan itu menjelaskan mengapa diskriminasi bisa tetap konstan sementara kalibrasi berubah. Kalibrasi sendiri membutuhkan data yang tidak ikut dipakai untuk fitting estimator dasarnya, dan tes terpisah tetap diperlukan untuk penilaian akhir.
Kalibrasi dengan cross-validation mempelajari pemetaan probabilitas dari prediksi fold yang disisihkan.