チームはよくAirflowからDagsterに移ってきます。概念は対応しますが、1対1ではありません。
- タスクからなるAirflowのDAGはDagsterのジョブに対応し、それぞれのタスクがテーブルやファイルを作るなら、アセットに対応させるほうがよいでしょう。そうすると、アセットグラフはタスクの順序ではなくデータの依存関係から作られます。
- XComはタスクの間で小さな値を渡します。Dagsterは値をIOマネージャーを通して渡し、テーブルの場合は下流のアセットが
depsでテーブルを読みます。
- 接続と変数は、
EnvVarを使ったリソースになります。
- Airflowのスケジュールはスケジュールか自動化の条件になり、Airflowのセンサーはセンサーになります。
catchupとバックフィルは、パーティションとDagsterのバックフィルになります。
Airflow 3でもアセットを使ったデータに基づくスケジューリングが加わったので、現在の違いは重点の置き方です:Airflowはタスク中心で、最も幅広いオペレーターのエコシステムがあります。Dagsterはアセット中心で、リネージ、パーティション、チェックが組み込まれています。段階的に移行してください:まずDagsterからAirflowのDAGを観察し、次にDAGを1つずつ移し、出力が一致するまで両方を動かし続けます。