Linhas duplicadas raramente são idênticas. [email protected] e [email protected] são a mesma pessoa, então a remoção de duplicados começa decidindo o que faz duas linhas serem "iguais", normalmente uma chave limpa como LOWER(TRIM(email)).
Depois, escolha qual cópia manter com ROW_NUMBER:
WITH ranked AS (
SELECT *,
ROW_NUMBER() OVER (PARTITION BY LOWER(TRIM(email)) ORDER BY raw_id DESC) AS rn
FROM signups_raw
WHERE email IS NOT NULL
)
SELECT * FROM ranked WHERE rn = 1;
PARTITION BY agrupa as cópias; o ORDER BY decide qual vem primeiro (aqui, a importação mais recente). COUNT(*) OVER (PARTITION BY key) mostra todas as linhas de uma chave duplicada, o que é útil para revisar antes de excluir.
As linhas sem chave (sem e-mail) exigem uma decisão à parte: elas não são duplicadas umas das outras só porque todas têm NULL.
Quais e-mails limpos aparecem mais de uma vez.