El seguimiento empieza antes de disponer de todos los resultados. Puedes observar de inmediato las distribuciones de las entradas y las puntuaciones, pero las reclamaciones por fraude o las cancelaciones de viajes pueden tardar en confirmarse. Vas a medir un cambio en las entradas, contar plazos de etiquetado completos y evaluar la pérdida de probabilidad solo donde el resultado esté disponible. Una etiqueta pendiente no es un evento negativo. Puede haber deriva de entradas sin deterioro del rendimiento, y el rendimiento puede deteriorarse sin un gran cambio univariante. Estos diagnósticos ayudan a investigar, pero no demuestran una causa. Mantén una población de referencia fija, un plazo de observación claro y un recuento explícito de resultados con plazo completo junto a cada informe de calidad del modelo.
Un desplazamiento estandarizado de una variable es un diagnóstico de las entradas y no demuestra que la calidad predictiva haya empeorado.