O primeiro pipeline de uma equipe de dados costuma ser alguns scripts com um temporizador: exportar as vendas à 1:00, carregar os dados à 1:30, montar o relatório às 2:00 e torcer para que cada etapa tenha terminado antes de a próxima começar. O Apache Airflow substitui a esperança por certeza. Você descreve o trabalho como um Dag (um grafo acíclico dirigido): um conjunto de tarefas e a ordem em que elas rodam. O agendador do Airflow inicia uma execução do Dag quando o agendamento manda, roda cada tarefa depois que as tarefas upstream terminam com sucesso, tenta de novo o que falha e guarda um registro de cada tentativa.
Cada tarefa em cada execução é uma instância de tarefa, e o Grid as mostra como quadrados: uma coluna por execução, uma linha por tarefa, coloridos pelo estado.
Este espaço de trabalho simula o Airflow 3.3 no seu navegador: um editor de Python à esquerda e, à direita, a lista de Dags, o Grid, o Graph, os Assets, o Admin e um terminal com a linha de comando airflow. Os Dags novos começam pausados, como no Airflow, até que você os ative.
Um Dag diário para a Marigold Grocers, uma rede de supermercados fictícia: duas tarefas, e a segunda lê o que a primeira retorna.