Um modelo que era preciso no lançamento sofre drift conforme o mundo muda. O drift de dados é uma mudança nas entradas: um novo segmento de clientes, uma categoria renomeada, um sensor recalibrado. O drift de conceito é uma mudança na relação entre entradas e resultados: os mesmos sinais passam a significar outra coisa. Os dois reduzem a qualidade sem gerar um único erro.
Monitore em três níveis. As verificações de dados detectam cedo entradas quebradas: esquema, valores ausentes, intervalos. As verificações de distribuição comparam as entradas e previsões em tempo real com uma janela de referência. As métricas de resultado medem a qualidade real, mas os rótulos costumam chegar tarde, dias ou semanas depois da previsão, então as verificações anteriores são o seu sistema de alerta. Decida com antecedência o que dispara um retreinamento e quem é acionado.
Acompanhe as entradas, as previsões e os resultados, e aja diante do drift antes que os rótulos cheguem.