Dagは互いに依存することがよくあります:レポートには読み込みが必要です。それをつなぐ方法は3つあります:
- プッシュ:上流のDagが
TriggerDagRunOperator(trigger_dag_id="marigold_report", conf={...}, wait_for_completion=True)で下流のDagを始めます。confはテンプレート化されるので、{"day": "{{ ds }}"}で日付を渡せます。対象はオンになっている必要があり、そうでなければその実行はQueuedで待ちます。
- プル:下流のDagが
ExternalTaskSensor(external_dag_id=..., external_task_id=...)で、同じ論理日付の実行でそのタスクが成功するのを待ちます。スケジュールが違う場合は、正しい実行を指すためにexecution_deltaが必要です。タイムアウトとrescheduleのモードを付けてください。
- データに基づく:上流のタスクが更新するアセットを宣言し、下流のDagをそのアセットでスケジュールします。これはAirflow 3での通常の選択で、次のユニットのテーマです。