Setiap laporan bertumpu pada asumsi tentang data: id bersifat unik, setiap baris item punya pesanan, harga bernilai positif, email terisi. Pemeriksaan kualitas data mengubah setiap asumsi menjadi query yang mengembalikan baris yang melanggarnya. Hasil kosong berarti pemeriksaan lolos.
Empat pemeriksaan yang berlaku untuk setiap tabel:
- Kunci unik:
GROUP BY key HAVING COUNT(*) > 1.
- Tanpa data yatim: baris anak yang induknya tidak ada (
LEFT JOIN ... WHERE parent IS NULL, atau NOT EXISTS).
- Nilai valid: rentang dan daftar nilai yang diizinkan (
WHERE price <= 0 OR cost > price).
- Kelengkapan: persentase NULL di kolom yang seharusnya terisi.
Tool seperti dbt menjalankan pemeriksaan seperti ini pada setiap pemuatan dan menghentikan pipeline saat salah satunya gagal. Menuliskannya sebagai query biasa bisa dipakai di mana saja.
Pemeriksaan keunikan: setiap baris yang dikembalikan adalah kunci duplikat.