Data yang hilang dan data duplikat adalah dua masalah yang berbeda. Nominal yang hilang bisa berarti pembayaran belum masuk. Id pelanggan yang berulang bisa saja valid karena seorang pelanggan membuat beberapa pesanan. Tentukan dulu field mana yang mendefinisikan duplikat sebelum memanggil dropDuplicates.
na.fill mengganti nilai yang hilang pada field yang dipilih. Dictionary membuat cakupannya eksplisit, misalnya hanya mengganti nominal yang hilang dengan nol. na.drop(subset=...) menghapus baris yang salah satu field wajibnya hilang dan tidak menyentuh kolom lain. Tidak satu pun dari kedua metode ini memperbaiki foreign key yang tidak valid. distinct membandingkan semua kolom yang dipilih; dropDuplicates dapat memakai kunci yang lebih kecil. Ketika beberapa baris memiliki kunci yang sama tetapi atribut yang berbeda, baris yang tersisa tanpa aturan yang jelas bukanlah aturan bisnis. Pelajaran window berikutnya memberi Anda cara deterministik untuk memilih baris yang terbaru.
Terapkan nilai default nol pada nominal yang hilang, bukan membiarkannya NULL.