Airflow va a volver a ejecutar tareas: reintentos después de un fallo, un clear después de un arreglo, un backfill sobre días que ya se ejecutaron. Una tarea es idempotente cuando ejecutarla dos veces para la misma fecha lógica deja el mismo resultado que ejecutarla una. Una carga que solo añade no lo es: cada repetición vuelve a añadir las filas del día, y los ingresos se duplican.
El patrón habitual es borrar y luego insertar el tramo de la propia ejecución: borrar las filas de ds e insertar las de ese día. Solo se toca ese tramo, así que los demás días se quedan como están. Otras formas son un merge (upsert) por clave, o escribir un archivo cuyo nombre lleva la fecha, que una repetición sobrescribe.
Dos costumbres más: saca las fechas de la ejecución (ds, el intervalo de datos), nunca de datetime.now(), y haz que el resultado de cada tarea dependa solo de sus entradas y de su fecha.
Borra el día de la ejecución y luego insértalo: una repetición sustituye ese día y nada más.