Antes de analizar los datos, comprueba que sean fiables. Cada comprobación es una pregunta cuya respuesta es un recuento:
- Duplicados:
df.duplicated().sum() cuenta las filas que repiten exactamente una fila anterior; df["id"].duplicated().sum() cuenta las claves repetidas.
- Referencias: cada
member_id de los pedidos debe existir en la tabla de miembros. ~orders["member_id"].isin(members["member_id"]) encuentra los que no existen (suelen llamarse huérfanos).
- Rangos y orden: importes superiores a cero, fechas dentro del período, ningún pedido anterior al registro del miembro.
- Campos obligatorios:
isna().sum() por columna.
Reúne los recuentos en una tabla para que quien la lea vea todos los problemas a la vez, y decide qué hacer con cada uno: corregirlo, eliminarlo o conservarlo y dejar constancia. En el código que se ejecuta con cada archivo nuevo, assert orders["order_id"].is_unique, "repeated order ids" detiene el script antes de que un archivo con errores llegue a un informe.
Valores ausentes por columna.