Uma probabilidade prevista de 0,8 afirma algo sobre uma frequência, enquanto uma ordenação apenas indica qual observação deve vir primeiro. A calibração avalia essa afirmação sobre frequência. Você vai ajustar um calibrador sigmoide usando folds reservados, calcular a perda de Brier e inspecionar os pontos de confiabilidade. As faixas vazias podem não aparecer no resultado, então não presuma que toda faixa solicitada tem observações. Um mapeamento estritamente crescente preserva a ordem das pontuações mesmo quando altera os erros de probabilidade. Essa distinção explica por que a discriminação pode permanecer constante enquanto a calibração muda. A própria calibração precisa de dados excluídos do ajuste do estimador subjacente, e continua sendo necessário um teste separado para a avaliação final.
A calibração com validação cruzada aprende um mapeamento de probabilidades a partir das previsões de folds reservados.