A Briar Retail precisa de uma recomendação de revisão para casos fictícios de correção de endereço. São fornecidas duas predições candidatas e review_limit. Entregue a prevalência, a acurácia do modelo A, a sensibilidade e a precisão do modelo B, os falsos negativos, o número de revisões e o modelo selecionado pela regra de cobertura e capacidade indicada.
A Briar Retail revisa pedidos que podem precisar de uma correção manual de endereço. A classe 1 identifica um pedido com correção confirmada. O conjunto reservado fictício contém muitos pedidos comuns, então um modelo que não gera nenhum alerta ainda pode parecer ter boa acurácia. A pessoa responsável por operações quer encontrar os casos de correção sem que o número de revisões passe de review_limit.
Dois arrays de rótulos candidatos já foram fornecidos. Avalie-os sem reajustar nada nem alterar os rótulos reservados. Você vai calcular a taxa de positivos, a acurácia do modelo A e a sensibilidade e a precisão do modelo B, e depois escolher a métrica que corresponde à prioridade indicada por essa pessoa. Para terminar, fará uma recomendação verificada com base na sensibilidade e na capacidade. A regra de seleção deixa o equilíbrio explícito. Outra equipe pode escolher uma prioridade diferente, mas sua métrica e sua regra de capacidade devem descrever essa escolha.
A taxa de positivos explica por que um modelo sem alertas pode ter acurácia alta sem encontrar nenhum caso a corrigir.