Airflow 3のデプロイは、メタデータのデータベースの周りのいくつかの別々のサービスです:
- Dagプロセッサーは、ループでDagファイルを解析し、シリアライズしたDagを保存します。インポートエラーはここから来ます。トップレベルの遅いコードは、これを遅くします。
- スケジューラーは、タイムテーブルとアセットのイベントからDagの実行を作り、どのタスクインスタンスの準備ができているかを決め、それをエグゼキューターに渡します。
- エグゼキューターは、タスクをどこで実行するかを決めます:
LocalExecutor(スケジューラーのマシンのプロセス)、CeleryExecutor(キューから供給されるワーカーのプール)、KubernetesExecutor(タスクごとのPod)です。
- ワーカーは、Task SDKを通してタスクを実行します。Airflow 3では、データベースに直接ではなく、APIサーバーとやり取りします。
- APIサーバー(
airflow api-server)は、UI、REST API、そしてワーカーが使うAPIを提供します。
- トリガラーは、遅延したタスクの非同期のトリガーを、一度に何千も実行します。
この分担を知っていれば、どこを見ればよいかがわかります:UIにないDagは解析の問題で、queuedで止まったタスクはエグゼキューターかワーカーを示し、再開しない遅延したタスクはトリガラーを示します。