Un despliegue de Airflow 3 son unos cuantos servicios separados alrededor de una base de datos de metadatos:
- El Dag processor parsea los archivos de Dags en bucle y guarda los Dags serializados. De aquí salen los errores de importación; el código lento de nivel superior lo frena.
- El scheduler crea ejecuciones de Dags a partir de los timetables y los eventos de assets, decide qué instancias de tarea están listas y se las pasa al executor.
- El executor decide dónde se ejecutan las tareas:
LocalExecutor (procesos en la máquina del scheduler), CeleryExecutor (un grupo de workers alimentado por una cola), KubernetesExecutor (un pod por tarea).
- Los workers ejecutan las tareas a través del Task SDK. En Airflow 3 hablan con el API server, no directamente con la base de datos.
- El API server (
airflow api-server) sirve la UI, la API REST y la API que usan los workers.
- El triggerer ejecuta los triggers asíncronos de las tareas diferidas, miles a la vez.
Conocer este reparto te dice dónde mirar: un Dag que falta en la UI es un problema de parseo; las tareas atascadas en queued apuntan al executor o a los workers; las tareas diferidas que no se reanudan nunca apuntan al triggerer.
Los servicios de un despliegue con Celery, cada uno arrancado por separado.