Airflowはタスクをもう一度実行します:失敗の後の再試行、修正の後のクリア、すでに実行された日に対するバックフィルです。同じ論理日付について2回実行しても1回実行したのと同じ結果になるタスクは、冪等です。追加だけの読み込みはそうではありません:再実行のたびにその日の行がもう一度追加され、売上が2倍になります。
通常のパターンは、実行自身の部分についての削除してから挿入です:dsの行を削除し、それからその日の行を挿入します。手を付けるのはその部分だけなので、ほかの日はそのままです。ほかの形として、キーでのマージ(upsert)や、日付を含む名前のファイルの書き込みがあり、後者は再実行で上書きされます。
あと2つの習慣があります:日付は決してdatetime.now()からではなく実行(ds、データ間隔)から得ること、そしてそれぞれのタスクの出力をその入力と日付だけで決まるようにすることです。