Muitas equipes chegam ao Dagster vindas do Airflow. Os conceitos se correspondem, mas não um a um.
- Um DAG de tarefas do Airflow corresponde a um job do Dagster ou, melhor ainda, a assets quando cada tarefa produz uma tabela ou um arquivo. O grafo de assets passa então a vir das dependências de dados, e não da ordem das tarefas.
- O XCom passa valores pequenos entre tarefas; o Dagster passa valores por meio de IO managers ou, no caso de tabelas, faz os assets seguintes lerem a tabela com
deps.
- Connections e variáveis viram resources com
EnvVar.
- Os schedules do Airflow viram schedules ou automation conditions; os sensores do Airflow viram sensores.
catchup e os backfills viram partições e backfills do Dagster.
O Airflow 3 também adicionou o agendamento orientado a dados com assets, então hoje a diferença está na ênfase: o Airflow parte das tarefas e tem o ecossistema de operadores mais amplo; o Dagster parte dos assets e já traz linhagem, partições e checks de fábrica. Migre aos poucos: primeiro observe os DAGs do Airflow a partir do Dagster, depois mova um DAG por vez e mantenha os dois rodando até os resultados coincidirem.
As tarefas do Airflow load_orders e build_revenue viram as tabelas que elas escrevem, conectadas pelo que cada uma lê.