Un sensor es una tarea que espera a que algo se cumpla y entonces termina bien para que puedan ejecutarse las tareas que van detrás. FileSensor espera a un archivo (también vale un patrón glob); su filepath es una plantilla, así que /data/scans/york/{{ ds }}.csv espera al archivo de la propia ejecución.
Todo sensor hace un poke (una comprobación) cada poke_interval segundos hasta que la condición se cumple o pasan timeout segundos desde que empezó. Entonces falla con AirflowSensorTimeout, que nunca se reintenta. El timeout por defecto es de siete días, así que pon siempre uno que encaje con lo tarde que pueden llegar razonablemente los datos.
Con soft_fail=True, un timeout deja el sensor como skipped (omitido) en lugar de failed: las tareas que van detrás se omiten y la ejecución sigue en verde. Úsalo cuando que falte un archivo sea normal (sin entregas en un festivo), no cuando sea un incidente.
Comprueba cada cinco minutos durante un máximo de una hora y luego cuenta los paquetes.