センサーは、何かが真になるのを待ってから成功し、その後のタスクを実行できるようにするタスクです。FileSensorはファイルを待ち(globのパターンも使えます)、そのfilepathはテンプレートなので、/data/scans/york/{{ ds }}.csvは実行自身のファイルを待ちます。
すべてのセンサーは、条件が成り立つか、始まってからtimeout秒がたつまで、poke_interval秒ごとに確認(poke)します。その後AirflowSensorTimeoutで失敗し、それは決して再試行されません。デフォルトのタイムアウトは7日間なので、データがどれだけ遅れうるかに見合ったものを必ず設定してください。
soft_fail=Trueでは、タイムアウトでセンサーは失敗ではなくスキップとされます:その後のタスクはスキップされ、実行は緑のままです。ファイルがないことが普通のとき(祝日は配送がない)に使い、それがインシデントであるときには使わないでください。