Uma implantação do Airflow 3 é um conjunto de serviços separados em torno de um banco de dados de metadados:
- O Dag processor faz o parsing dos arquivos de Dags em loop e guarda os Dags serializados. Daqui saem os erros de importação; o código lento de nível superior o deixa mais lento.
- O scheduler cria execuções de Dags a partir dos timetables e dos eventos de assets, decide quais instâncias de tarefa estão prontas e as passa ao executor.
- O executor decide onde as tarefas são executadas:
LocalExecutor (processos na máquina do scheduler), CeleryExecutor (um grupo de workers alimentado por uma fila), KubernetesExecutor (um pod por tarefa).
- Os workers executam as tarefas por meio do Task SDK. No Airflow 3 eles falam com o API server, não diretamente com o banco de dados.
- O API server (
airflow api-server) serve a UI, a API REST e a API que os workers usam.
- O triggerer executa os triggers assíncronos das tarefas adiadas, milhares ao mesmo tempo.
Conhecer essa divisão diz onde olhar: um Dag que falta na UI é um problema de parsing; tarefas presas em queued apontam para o executor ou os workers; tarefas adiadas que nunca retomam apontam para o triggerer.
Os serviços de uma implantação com Celery, cada um iniciado separadamente.