A Nacre Payments pede que você prepare uma política de revisão de fraude com variáveis fictícias de transações. Neste exercício, os falsos positivos custam 1 unidade de revisão e as fraudes não detectadas custam 8 unidades. Ajuste com as linhas de treinamento, escolha um limiar com as linhas de validação e entregue evidências de ordenação, detecção e carga da fila com dados reservados. O notebook concluído é a entrega; os custos são premissas da tarefa, e não preços de mercado.
Uma classe positiva rara pode ficar escondida atrás de uma acurácia alta. Os pesos de classe mudam quanto os erros de treinamento contribuem para a perda; um limiar de decisão muda quais probabilidades ajustadas entram na fila de revisão. São escolhas separadas. Você vai ajustar um pipeline com pesos, aplicar um limiar de validação e calcular a sensibilidade com a classe positiva como evento. Uma fila vazia precisa de uma convenção de precisão declarada, porque não existe nenhum positivo predito para servir de divisor. Mantenha o conjunto de teste fora da escolha do limiar. Em uma revisão real de fraudes, importam tanto a detecção quanto a carga de trabalho, então a pontuação de um modelo não pode, sozinha, escolher a política de operação.
Pesos balanceados aumentam a contribuição da classe menos frequente no treinamento sem duplicar observações de teste.