重複がまったく同じ見た目になっていることはほとんどありません。[email protected]と[email protected] は同じ人です。そのため重複の除去は、2つの行が「同じ」とは何かを決めることから始めます。通常は、LOWER(TRIM(email))のように整えたキーを使います。
次に、ROW_NUMBERで残すコピーを選びます。
WITH ranked AS (
SELECT *,
ROW_NUMBER() OVER (PARTITION BY LOWER(TRIM(email)) ORDER BY raw_id DESC) AS rn
FROM signups_raw
WHERE email IS NOT NULL
)
SELECT * FROM ranked WHERE rn = 1;
PARTITION BYでコピーをグループにまとめ、ORDER BYでどれを先頭にするかを決めます(ここでは最新のインポート)。COUNT(*) OVER (PARTITION BY key)を使うと、重複したキーのすべての行が表示されるため、削除する前の確認に役立ちます。
キーのない行(メールアドレスがない行)は別に判断する必要があります。すべてNULLだからといって、互いに重複しているわけではありません。