AirflowとDagsterはどちらもデータのパイプラインをスケジュールして実行しますが、出発点が違います。
Airflowはタスクから出発します:Dagはスケジュールを持つステップのグラフです。2015から本番で使われており、ほとんどのデータベース、クラウド、SaaSのツールのプロバイダーがあり、AWS、Google Cloud、Astronomerがマネージドサービスとして提供しています。Airflow 3でアセットと@assetが加わったので、データに基づくスケジューリングは中心的な機能ですが、運用する単位は引き続きDagの実行とそのタスクです。
Dagsterはアセットから出発します:存在させたいテーブルとファイル、そしてそれぞれの計算方法を宣言すると、グラフはその依存関係から作られます。パーティション、アセットチェック、リネージのビューが中心にあり、ローカルでのテストが組み込まれています。
一般的にどちらかが優れているわけではありません。Airflowは、調整するシステムが多く、Airflowの知識がすでにあり、幅広いプロバイダーが必要なチームに向いています。Dagsterは、データの成果物で考え、リネージとデータ品質を同じツールで扱いたく、新しく始めるチームに向いています。The Work GymのDagsterのコースで、この比較のもう一方の側を扱っています。