Todo relatório se apoia em suposições sobre os dados: os identificadores são únicos, cada linha de pedido tem um pedido, os preços são positivos e os e-mails estão preenchidos. As verificações de qualidade de dados transformam cada suposição em uma consulta que retorna as linhas que a quebram. Um resultado vazio significa que a verificação passou.
As quatro verificações que toda tabela recebe:
- Chaves únicas:
GROUP BY key HAVING COUNT(*) > 1.
- Sem registros órfãos: linhas filhas cujo registro pai não existe (
LEFT JOIN ... WHERE parent IS NULL ou NOT EXISTS).
- Valores válidos: intervalos e listas de valores permitidos (
WHERE price <= 0 OR cost > price).
- Completude: a proporção de valores NULL em colunas que deveriam estar preenchidas.
Ferramentas como o dbt executam verificações como essas a cada carga e interrompem o pipeline quando alguma falha. Escrevê-las como consultas simples funciona em qualquer lugar.
Uma verificação de unicidade: cada linha retornada é uma chave duplicada.