Uma classe positiva rara pode ficar escondida atrás de uma acurácia alta. Os pesos de classe mudam quanto os erros de treinamento contribuem para a perda; um limiar de decisão muda quais probabilidades ajustadas entram na fila de revisão. São escolhas separadas. Você vai ajustar um pipeline com pesos, aplicar um limiar de validação e calcular a sensibilidade com a classe positiva como evento. Uma fila vazia precisa de uma convenção de precisão declarada, porque não existe nenhum positivo predito para servir de divisor. Mantenha o conjunto de teste fora da escolha do limiar. Em uma revisão real de fraudes, importam tanto a detecção quanto a carga de trabalho, então a pontuação de um modelo não pode, sozinha, escolher a política de operação.
Pesos balanceados aumentam a contribuição da classe menos frequente no treinamento sem duplicar observações de teste.