Airflow y Dagster programan y ejecutan pipelines de datos los dos, desde puntos de partida distintos.
Airflow parte de las tareas: un Dag es un grafo de pasos con una programación. Funciona en producción desde 2015, tiene providers para la mayoría de bases de datos, nubes y herramientas SaaS, y AWS, Google Cloud y Astronomer lo ofrecen como servicio gestionado. Airflow 3 añadió los assets y @asset, así que programar según los datos es algo de primera clase, pero la unidad que operas sigue siendo la ejecución del Dag y sus tareas.
Dagster parte de los assets: declaras las tablas y los archivos que quieres que existan y cómo se calcula cada uno, y el grafo sale de sus dependencias. Las particiones, los asset checks y la vista de linaje son centrales, y las pruebas en local vienen incluidas.
Ninguno es mejor en general. Airflow encaja con equipos que tienen muchos sistemas que coordinar, ya conocen Airflow y necesitan muchos providers. Dagster encaja con equipos que piensan en productos de datos, quieren linaje y calidad de datos en la misma herramienta y empiezan de cero. El curso de Dagster de The Work Gym cubre el otro lado de esta comparación.
La misma tabla, descrita desde cada lado.