O monitoramento começa antes de todos os resultados estarem disponíveis. Você pode observar de imediato as distribuições das entradas e das pontuações, mas contestações de fraude ou cancelamentos de viagem podem demorar a se confirmar. Você vai medir uma mudança nas entradas, contar as janelas de rótulo concluídas e avaliar a perda de probabilidade somente onde o resultado já estiver disponível. Um rótulo pendente não é um evento negativo. Pode haver drift nas entradas sem piora do desempenho, e o desempenho pode piorar sem uma grande mudança univariada. Esses diagnósticos apoiam uma investigação, mas não provam uma causa. Mantenha uma população de referência fixa, uma janela de observação clara e uma contagem explícita de resultados consolidados junto a cada relatório sobre a qualidade do modelo.
Um deslocamento padronizado de uma variável é um diagnóstico das entradas e não prova que a qualidade preditiva piorou.