Aster Media y Harbor Travel te piden revisar el lanzamiento de un sistema de puntuación ficticio. Algunos resultados aún están pendientes. Cuenta las etiquetas con plazo de observación completo, evalúa las probabilidades por segmento y aplica los límites de muestra y calidad proporcionados. Entrega una recomendación comprobada que conserve las etiquetas pendientes y los datos del peor segmento. Este conjunto pequeño enseña cómo tomar la decisión, pero no permite establecer si el sistema está listo para producción.
El seguimiento empieza antes de disponer de todos los resultados. Puedes observar de inmediato las distribuciones de las entradas y las puntuaciones, pero las reclamaciones por fraude o las cancelaciones de viajes pueden tardar en confirmarse. Vas a medir un cambio en las entradas, contar plazos de etiquetado completos y evaluar la pérdida de probabilidad solo donde el resultado esté disponible. Una etiqueta pendiente no es un evento negativo. Puede haber deriva de entradas sin deterioro del rendimiento, y el rendimiento puede deteriorarse sin un gran cambio univariante. Estos diagnósticos ayudan a investigar, pero no demuestran una causa. Mantén una población de referencia fija, un plazo de observación claro y un recuento explícito de resultados con plazo completo junto a cada informe de calidad del modelo.
La revisión empieza indicando qué resultados observados hay disponibles.