Deployment Airflow 3 terdiri dari beberapa layanan terpisah di sekitar sebuah database metadata:
- Dag processor mem-parsing file Dag dalam sebuah loop dan menyimpan Dag yang sudah diserialisasi. Error impor berasal dari sini; kode level atas yang lambat memperlambatnya.
- Scheduler membuat Dag run dari timetable dan event asset, menentukan task instance mana yang siap, lalu menyerahkannya ke executor.
- Executor menentukan di mana task berjalan:
LocalExecutor (proses di mesin scheduler), CeleryExecutor (sekumpulan worker yang diberi pekerjaan lewat antrean), KubernetesExecutor (satu pod per task).
- Worker menjalankan task lewat Task SDK. Di Airflow 3 mereka berkomunikasi dengan API server, bukan langsung ke database.
- API server (
airflow api-server) melayani UI, REST API, dan API yang dipakai worker.
- Triggerer menjalankan trigger async dari task yang ditunda, ribuan sekaligus.
Memahami pembagian ini memberi tahu Anda ke mana harus melihat: Dag yang hilang dari UI adalah masalah parsing; task yang tertahan di queued mengarah ke executor atau worker; task yang ditunda dan tidak pernah dilanjutkan mengarah ke triggerer.
Layanan-layanan dalam deployment Celery, masing-masing dijalankan sendiri-sendiri.