Muchos equipos llegan a Dagster desde Airflow. Los conceptos se corresponden, aunque no uno a uno.
- Un DAG de tareas de Airflow corresponde a un job de Dagster o, mejor, a assets cuando cada tarea produce una tabla o un fichero. Entonces el grafo de assets sale de las dependencias de datos en lugar del orden de las tareas.
- XCom pasa valores pequeños entre tareas; Dagster pasa valores mediante IO managers o, en el caso de tablas, hace que los assets posteriores lean la tabla con
deps.
- Las connections y variables pasan a ser resources con
EnvVar.
- Los schedules de Airflow pasan a ser schedules o automation conditions; los sensores de Airflow, sensores.
catchup y los backfills pasan a ser particiones y backfills de Dagster.
Airflow 3 también añadió la planificación basada en datos con assets, así que hoy la diferencia está en el enfoque: Airflow parte de las tareas y tiene el ecosistema de operadores más amplio; Dagster parte de los assets y trae de serie el linaje, las particiones y los checks. Migra poco a poco: primero observa los DAGs de Airflow desde Dagster, después mueve un DAG cada vez y mantén los dos en marcha hasta que los resultados coincidan.
Las tareas de Airflow load_orders y build_revenue se convierten en las tablas que escriben, conectadas por lo que lee cada una.