Una probabilidad prevista de 0,8 afirma algo sobre la frecuencia; una ordenación solo indica qué observación debe ir primero. La calibración evalúa esa frecuencia. Vas a ajustar un calibrador sigmoide con particiones reservadas, calcular la pérdida de Brier e inspeccionar los puntos de fiabilidad. Los intervalos vacíos pueden no aparecer en el resultado: no supongas que todos los intervalos solicitados contienen observaciones. Una transformación estrictamente creciente conserva el orden de las puntuaciones aunque cambie los errores de probabilidad. Eso explica que la discriminación pueda mantenerse mientras cambia la calibración. La propia calibración necesita datos excluidos del ajuste del estimador subyacente; para la evaluación final sigue haciendo falta una prueba independiente.
La calibración con validación cruzada aprende una transformación de probabilidades a partir de predicciones de particiones reservadas.