Sebelum analisis, pastikan datanya bisa dipercaya. Setiap pemeriksaan adalah pertanyaan dengan jumlah sebagai jawabannya:
- Duplikat:
df.duplicated().sum() menghitung baris yang persis mengulang baris sebelumnya; df["id"].duplicated().sum() menghitung key yang berulang.
- Referensi: setiap
member_id di pesanan harus ada di tabel anggota. ~orders["member_id"].isin(members["member_id"]) menemukan yang tidak ada (sering disebut orphan).
- Rentang dan urutan: jumlah di atas nol, tanggal berada dalam periode, tidak ada pesanan sebelum anggota mendaftar.
- Field wajib:
isna().sum() per kolom.
Kumpulkan jumlah-jumlah itu dalam satu tabel agar pembaca melihat semua masalah sekaligus, lalu putuskan untuk masing-masing: perbaiki, buang, atau pertahankan dan beri catatan. Dalam kode yang dijalankan pada setiap file baru, assert orders["order_id"].is_unique, "repeated order ids" menghentikan skrip sebelum file yang bermasalah sampai ke laporan.
Nilai yang hilang per kolom.