Duplikat jarang terlihat identik. [email protected] dan [email protected] adalah orang yang sama, jadi deduplikasi dimulai dengan memutuskan apa yang membuat dua baris "sama", biasanya kunci yang sudah dibersihkan seperti LOWER(TRIM(email)).
Lalu pilih salinan mana yang dipertahankan dengan ROW_NUMBER:
WITH ranked AS (
SELECT *,
ROW_NUMBER() OVER (PARTITION BY LOWER(TRIM(email)) ORDER BY raw_id DESC) AS rn
FROM signups_raw
WHERE email IS NOT NULL
)
SELECT * FROM ranked WHERE rn = 1;
PARTITION BY mengelompokkan salinan; ORDER BY menentukan mana yang pertama (di sini, impor terbaru). COUNT(*) OVER (PARTITION BY key) menampilkan setiap baris dari kunci yang duplikat, berguna untuk meninjau sebelum menghapus.
Baris tanpa kunci (tanpa email) memerlukan keputusan tersendiri: baris-baris itu bukan duplikat satu sama lain hanya karena semuanya NULL.
Email yang sudah dibersihkan mana saja yang muncul lebih dari sekali.