Briar Retail necesita una recomendación de revisión para casos ficticios de corrección de direcciones. Se proporcionan dos predicciones candidatas y review_limit. Entrega la prevalencia, la exactitud del modelo A, la sensibilidad y precisión del modelo B, los falsos negativos, el número de revisiones y el modelo seleccionado según la regla de cobertura y capacidad indicada.
Briar Retail revisa pedidos que pueden necesitar una corrección manual de la dirección. La clase 1 identifica un pedido con una corrección confirmada. El conjunto reservado ficticio contiene muchos pedidos normales, así que un modelo que no lanza ninguna alerta puede parecer exacto igualmente. El responsable de operaciones quiere encontrar los casos que hay que corregir sin que el número de revisiones supere review_limit.
Ya tienes dos matrices de etiquetas candidatas. Evalúalas sin volver a ajustar nada ni cambiar las etiquetas reservadas. Calcularás la tasa de positivos, la exactitud del modelo A y la sensibilidad y la precisión del modelo B, y después elegirás la métrica que encaja con la prioridad que ha indicado el responsable. Terminarás con una recomendación comprobada basada en la sensibilidad y la capacidad. La regla de selección deja explícito el equilibrio. Otro equipo puede elegir una prioridad distinta, pero su métrica y su regla de capacidad deben describir esa elección.
La tasa de positivos explica por qué un modelo sin alertas puede tener una exactitud elevada sin encontrar casos que corregir.