Airflow e Dagster agendam e executam pipelines de dados, mas partem de pontos diferentes.
Airflow parte das tarefas: um Dag é um grafo de passos com um agendamento. Roda em produção desde 2015, tem providers para a maioria dos bancos de dados, nuvens e ferramentas SaaS, e a AWS, o Google Cloud e a Astronomer o oferecem como serviço gerenciado. O Airflow 3 trouxe os assets e o @asset, então o agendamento baseado em dados é de primeira classe, mas a unidade que você opera continua sendo a execução do Dag e suas tarefas.
Dagster parte dos assets: você declara as tabelas e os arquivos que quer que existam e como cada um é calculado, e o grafo sai das dependências deles. As partições, os asset checks e a visão de linhagem são centrais, e os testes locais já vêm incluídos.
Nenhum dos dois é melhor em geral. O Airflow serve para equipes com muitos sistemas para coordenar, que já conhecem Airflow e precisam de ampla cobertura de providers. O Dagster serve para equipes que pensam em produtos de dados, querem linhagem e qualidade de dados na mesma ferramenta e estão começando do zero. O curso de Dagster do The Work Gym cobre o outro lado desta comparação.
A mesma tabela, descrita de cada lado.