Um curso
Todas as aulas, projetos e simulados de Apache Airflow.
Cobrança mensal. Cancele quando quiser.
Nível 1: Estreante
0 pontos
Faça login para salvar seu progresso e continuar em outros dispositivos.
Cursos / Ferramentas de dados e análise
Escreva, agende, teste e depure Dags do Airflow em um espaço de trabalho do Airflow funcional.
with DAG e @dag, e tarefas com a API TaskFlow e os operadores clássicos>>, listas e chain, e corrigir os erros de importação que escondem um DagA unidade 1, Dags, tarefas e dependências: 6 lições e 33 exercícios corrigidos, sem conta nem cartão.
Começar a unidade grátisO restante do curso abre com o plano One Course ou All Access. Ver planos e preços
Escolha seu plano aqui. Seu curso já está selecionado.
Construa passo a passo o pipeline noturno de vendas da Marigold: o dia certo, novas tentativas, uma carga idempotente, um relatório, alertas, um prazo e um backfill.
8 passosProjeto · AvançadoO rastreador de pacotes da manhã da BrambleConstrua o rastreamento da manhã da Bramble: mapeie sobre os depósitos que reportaram, rastreie cada pacote em aberto dentro dos limites do parceiro, salve os resultados e inicie as mensagens aos clientes.
7 passosEstudo de caso · EspecialistaCaso: uma semana presa atrás de um dia ruimDescubra por que um livro diário parou na quinta-feira, desbloqueie a semana com segurança e garanta que a próxima falha seja percebida no mesmo dia.
5 passosEstudo de caso · EspecialistaCaso: a atualização que mudou o diaRastreie uma data errada depois da atualização para o Airflow 3 até o novo timetable de cron, corrija sem mexer no código da tarefa e faça o backfill do histórico.
5 passosEstudo de caso · EspecialistaCaso: a manhã em que os scanners travaramExplique por que um depósito pontual espera atrás dos que chegam atrasados, libere os slots, pare de esperar para sempre por um depósito que talvez não envie o arquivo e recomende um design.
5 passosProjeto · EspecialistaA conciliação de liquidações da Fenwick PayConstrua a conciliação noturna da Fenwick Pay: mapeie os estabelecimentos, guarde os resultados, avise sobre as divergências, espere o arquivo da rede, agende por dia útil e repasse os resultados como um asset.
7 passosSimulado · EspecialistaTeste para vaga de Airflow A: fundamentos (cronometrado)Um teste de Airflow cronometrado, com 20 perguntas sobre Dags, agendamento, execuções, a UI e a CLI, XCom, variáveis, conexões e depuração.
20 perguntas · 40 minSimulado · EspecialistaTeste de seleção de Airflow B: autoria de Dags (cronometrado)Um teste de Airflow cronometrado, com 20 perguntas, sobre TaskFlow, templates, branching, trigger rules, sensores, mapeamento, assets, testes e pools.
20 perguntas · 45 minPratique Apache Airflow em um espaço de trabalho no navegador que lê seus arquivos de Dag e os executa em uma simulação do Airflow 3.3: a lista de Dags, as visualizações Grid e Graph, os logs das tarefas, XCom, variáveis, conexões, pools, assets e um terminal com a linha de comando airflow. Você começa com o seu primeiro Dag e a API TaskFlow, e depois o agenda, passa dados entre tarefas, tenta de novo o que falha, espera arquivos com sensores, cria ramificações, mapeia tarefas sobre listas e dispara Dags a partir de assets. Os níveis seguintes cobrem backfills, testes, padrões de produção e incidentes, com projetos, conjuntos de perguntas de entrevista e testes cronometrados. Cada tarefa é verificada com os seus dados e com uma cópia oculta. Não é preciso instalar nada.
Explique o que você aprendeu em uma entrevista em tela cheia. Fale ou digite e depois revise suas respostas usando a rubrica do seu nível.
Processos seletivos por cargoIniciante
Escreva arquivos de Dag com DAG e @dag, passe dados com TaskFlow, defina dependências e use os operadores clássicos.
Dispare e pause execuções, leia os logs das tarefas, use a linha de comando do airflow e corrija erros de importação.
Passe valores entre tarefas, dê entradas aos Dags, leia configurações e credenciais e renderize templates.
Intermediário
Escolha agendamentos, entenda as datas lógicas e os intervalos de dados no Airflow 3, reexecute o histórico com catchup e backfills, e agende em horário local.
Faça retry do que é transitório, interrompa o que trava, avise sobre falhas e execuções atrasadas, torne as cargas idempotentes e reexecute tarefas com segurança, e depois construa o pipeline noturno da Marigold.
Avançado
Decida quando as tarefas são executadas com trigger rules, escolha caminhos com branches e short circuits, e organize as tarefas com grupos, setup e teardown.
Espere por arquivos, relatórios e outros Dags sem desperdiçar slots de worker, e conecte Dags que dependem uns dos outros.
Inicie Dags quando os dados que eles leem forem atualizados, combine assets com condições e relógios, passe detalhes nos eventos de assets e escreva assets com @asset.
Faça fan-out sobre listas que só são conhecidas na hora da execução, combine e fixe argumentos, proteja sistemas com limite de chamadas e construa o rastreador matinal de pacotes da Bramble.
Especialista
Detecte arquivos quebrados com testes de DagBag, teste a lógica das tarefas com pytest e execute Dags inteiros no CI com dag.test().
Compartilhe sistemas com segurança usando pools e prioridades, conheça os componentes do Airflow 3, escreva arquivos de Dag rápidos de parsear e seguros para reexecutar, e compare o Airflow com o Dagster.
Resolva incidentes realistas, do sintoma à correção e ao resumo para o negócio, e depois construa de ponta a ponta a conciliação de liquidações da Fenwick Pay.
Pratique perguntas de entrevista de Airflow em três níveis e faça dois testes técnicos cronometrados sobre fundamentos e criação de Dags.
Todas as lições partem de arquivos como este: um Dag definido com @dag, tarefas escritas como funções Python com @task e a data da execução lida do Airflow, não digitada à mão.
import pendulum
from airflow.sdk import dag, task
@dag(schedule="@daily", start_date=pendulum.datetime(2026, 11, 1, tz="UTC"))
def marigold_daily():
@task
def extract_sales(ds=None):
return fetch_sales(ds)
@task
def total_revenue(rows):
return round(sum(r["revenue"] for r in rows), 2)
total_revenue(extract_sales())
marigold_daily()
Pratique Apache Kafka para inspecionar chaves, ordenação nas partições e offsets dos consumidores antes de consultar os dados no destino. A referência de comandos Kafka relaciona cada ação do console ao estado que ela altera.
Não. O espaço de trabalho simula o Airflow 3.3 no seu navegador: lê seus arquivos de Dag, executa esses Dags em um agendador simulado e mostra a lista de Dags, o Grid, o Graph, os logs e um terminal com a linha de comando airflow. Quando simplifica algo, a lição avisa.
O Airflow 3, com os imports do Task SDK (from airflow.sdk import dag, task), schedule no lugar de schedule_interval e os padrões do Airflow 3 para catchup e timetables. As mudanças da 3.4 são mencionadas onde importam.
A primeira unidade, sim, sem cadastro nem cartão. O resto do curso é liberado com o plano One Course ou All Access, e na página de preços você vê todos os planos e preços.
Pela execução: a correção lê seu arquivo de Dag, executa o Dag e confere o resultado (estados das tarefas, valores de XCom, comandos renderizados, linhas carregadas), com os seus dados e com uma cópia oculta. Se você errar, recebe uma dica sobre o que provavelmente deu errado.
Não. The Work Gym é independente e não é afiliado à Apache Software Foundation. Apache, Apache Airflow e Airflow são marcas da Apache Software Foundation.