アセットは、Dagが共有するデータに名前を付けたものです:テーブル、ファイル、モデルです。Asset("daily_sales")で十分で、postgres://warehouse/analytics/public/daily_salesのようなURIも使えます。2つの宣言で、それを通してDagがつながります:
- データを書き込むタスクは、それを
outletsに挙げます:@task(outlets=[DAILY_SALES]).そのタスクが成功すると、Airflowはアセットのイベントを記録します。失敗したタスクやスキップされたタスクは何も記録しません。
- データを読むDagは、それでスケジュールされます:
@dag(schedule=[DAILY_SALES]).それぞれのイベントで、オンになっているすべてのコンシューマーの実行がキューに入り、スケジューラーがアセットで起動された実行を始めます。
プロデューサーは誰がテーブルを読むかを知る必要がなく、読み込みがいつ終わるかを誰も推測せずに済みます。Airflow 3の2つの細かい点でつまずきやすいです:コンシューマーが一時停止している間に起きたイベントはそれにキューに入らないので、後でオンにしても追いつかないこと、そしてアセットで起動された実行には論理日付がないので、dsと{{ ds }}がないこと(次のレッスンでは日をイベントで渡します)です。
このワークスペースが表すバージョンであるAirflow 3.3では、コンシューマーが始まる前にたまったイベントは1回の実行で処理されます。Airflow 3.4では、単一のアセットと|のスケジュールのデフォルトがイベントごとに1回の実行に変わり、もう一度まとめるための設定があります。