Banyak tim beralih ke Dagster dari Airflow. Konsep-konsepnya saling berpadanan, tetapi tidak satu per satu.
- Sebuah DAG berisi task di Airflow berpadanan dengan sebuah job di Dagster, atau, yang lebih baik, dengan asset ketika setiap task menghasilkan tabel atau file. Graf asset kemudian terbentuk dari dependensi data, bukan dari urutan task.
- XCom meneruskan nilai kecil antar-task; Dagster meneruskan nilai melalui IO manager atau, untuk tabel, membuat asset downstream membaca tabel itu dengan
deps.
- Connection dan variabel menjadi resource dengan
EnvVar.
- Schedule Airflow menjadi schedule atau automation condition; sensor Airflow menjadi sensor.
catchup dan backfill menjadi partisi dan backfill Dagster.
Airflow 3 juga menambahkan penjadwalan berbasis data dengan asset, jadi perbedaan saat ini ada pada penekanannya: Airflow berpusat pada task dengan ekosistem operator terluas; Dagster berpusat pada asset dengan lineage, partisi, dan check bawaan. Migrasikan secara bertahap: amati dulu DAG Airflow dari Dagster, lalu pindahkan satu DAG setiap kali, dan biarkan keduanya tetap berjalan sampai hasilnya cocok.
Task Airflow load_orders dan build_revenue menjadi tabel yang mereka tulis, dihubungkan oleh apa yang dibaca masing-masing.