Antes da análise, verifique se os dados são confiáveis. Cada verificação é uma pergunta cuja resposta é uma contagem:
- Duplicados:
df.duplicated().sum() conta as linhas que repetem exatamente uma linha anterior; df["id"].duplicated().sum() conta as chaves repetidas.
- Referências: todo
member_id dos pedidos deve existir na tabela de membros. ~orders["member_id"].isin(members["member_id"]) encontra os que não existem (muitas vezes chamados de órfãos).
- Intervalos e ordem: valores acima de zero, datas dentro do período, nenhum pedido antes do cadastro do membro.
- Campos obrigatórios:
isna().sum() por coluna.
Reúna as contagens em uma tabela para que quem lê veja todos os problemas de uma vez, e decida o que fazer com cada um: corrigir, descartar, ou manter e registrar. No código que roda a cada novo arquivo, assert orders["order_id"].is_unique, "repeated order ids" interrompe o script antes que um arquivo ruim chegue a um relatório.
Valores ausentes por coluna.