A Aster Media e a Harbor Travel pedem que você revise o lançamento de um sistema de pontuação fictício. Alguns resultados ainda estão pendentes. Conte os rótulos com janela de observação completa, avalie as probabilidades por segmento e aplique os limites de amostra e de qualidade fornecidos. Entregue uma recomendação verificada que mantenha os rótulos pendentes e as evidências do pior segmento. Este conjunto de dados propositalmente pequeno ensina a mecânica da decisão, mas não permite concluir que o sistema está pronto para produção.
O monitoramento começa antes de todos os resultados estarem disponíveis. Você pode observar de imediato as distribuições das entradas e das pontuações, mas contestações de fraude ou cancelamentos de viagem podem demorar a se confirmar. Você vai medir uma mudança nas entradas, contar as janelas de rótulo concluídas e avaliar a perda de probabilidade somente onde o resultado já estiver disponível. Um rótulo pendente não é um evento negativo. Pode haver drift nas entradas sem piora do desempenho, e o desempenho pode piorar sem uma grande mudança univariada. Esses diagnósticos apoiam uma investigação, mas não provam uma causa. Mantenha uma população de referência fixa, uma janela de observação clara e uma contagem explícita de resultados consolidados junto a cada relatório sobre a qualidade do modelo.
A revisão começa indicando quais resultados observados estão disponíveis.