País ou região e idioma

    Escolha seu país ou região e seu idioma.

    Sugerido para você

      Todos os países e regiões

        Escolha seu personagem

        Ele aparece na barra superior e no seu perfil. Você pode mudar quando quiser.

        Cursos / Ferramentas de dados e análise

        Apache Airflow

        Escreva, agende, teste e depure Dags do Airflow em um espaço de trabalho do Airflow funcional.

        Começar a lição 1Praticar uma entrevistaFazer a avaliaçãoPratique a primeira unidade de cada curso. Você não precisa de cadastro.
        68lições
        395exercícios verificados
        11projetos, casos e provas
        Prepara você para Entrevistas de engenharia de dados e testes no estilo da certificação do Airflow

        O que você será capaz de fazer

        • Escrever Dags com with DAG e @dag, e tarefas com a API TaskFlow e os operadores clássicos
        • Definir dependências com >>, listas e chain, e corrigir os erros de importação que escondem um Dag
        • Disparar, pausar e repetir execuções de dias passados, e ler os logs de uma tarefa para entender por que ela falhou
        • Passar valores com XCom, dar a um Dag parâmetros tipados e ler configurações e credenciais de variáveis e conexões
        • Inserir datas, parâmetros e variáveis em comandos com templates Jinja e macros
        • Agendar Dags, reprocessar o histórico, tentar de novo o que falha, esperar arquivos com sensores e disparar Dags a partir de assets (nas unidades seguintes)

        Para quem é

        Se você é engenheiro de dados ou de analytics e está começando com Airflow
        Você aprende a escrever Dags do jeito do Airflow 3, com tarefas curtas e corrigidas, sem instalar nada.
        Se você mantém Dags que outra pessoa escreveu
        Você pratica a leitura do Grid e dos logs, a correção de erros de importação e a reexecução dos dias certos.
        Se você tem pela frente uma entrevista de engenharia de dados ou uma certificação de Airflow
        O curso termina com perguntas de entrevista e provas cronometradas baseadas nos temas da certificação do Airflow 3.

        O que você pode praticar de graça

        A unidade 1, Dags, tarefas e dependências: 6 lições e 33 exercícios corrigidos, sem conta nem cartão.

        Começar a unidade grátis

        O restante do curso abre com o plano One Course ou All Access. Ver planos e preços

        Continue em Apache Airflow

        Escolha seu plano aqui. Seu curso já está selecionado.

        Um curso

        Todas as aulas, projetos e simulados de Apache Airflow.

        Carregando preço/ mês

        Cobrança mensal. Cancele quando quiser.

        Acesso completo

        Todos os cursos, provas e projetos, além da central de entrevistas.

        Carregando preço/ mês

        Cobrança mensal. Cancele quando quiser.

        Projetos, estudos de caso e simulados

        Projeto · IntermediárioO pipeline noturno de vendas da Marigold

        Construa passo a passo o pipeline noturno de vendas da Marigold: o dia certo, novas tentativas, uma carga idempotente, um relatório, alertas, um prazo e um backfill.

        8 passos
        Projeto · AvançadoO rastreador de pacotes da manhã da Bramble

        Construa o rastreamento da manhã da Bramble: mapeie sobre os depósitos que reportaram, rastreie cada pacote em aberto dentro dos limites do parceiro, salve os resultados e inicie as mensagens aos clientes.

        7 passos
        Estudo de caso · EspecialistaCaso: uma semana presa atrás de um dia ruim

        Descubra por que um livro diário parou na quinta-feira, desbloqueie a semana com segurança e garanta que a próxima falha seja percebida no mesmo dia.

        5 passos
        Estudo de caso · EspecialistaCaso: a atualização que mudou o dia

        Rastreie uma data errada depois da atualização para o Airflow 3 até o novo timetable de cron, corrija sem mexer no código da tarefa e faça o backfill do histórico.

        5 passos
        Estudo de caso · EspecialistaCaso: a manhã em que os scanners travaram

        Explique por que um depósito pontual espera atrás dos que chegam atrasados, libere os slots, pare de esperar para sempre por um depósito que talvez não envie o arquivo e recomende um design.

        5 passos
        Projeto · EspecialistaA conciliação de liquidações da Fenwick Pay

        Construa a conciliação noturna da Fenwick Pay: mapeie os estabelecimentos, guarde os resultados, avise sobre as divergências, espere o arquivo da rede, agende por dia útil e repasse os resultados como um asset.

        7 passos
        Simulado · EspecialistaTeste para vaga de Airflow A: fundamentos (cronometrado)

        Um teste de Airflow cronometrado, com 20 perguntas sobre Dags, agendamento, execuções, a UI e a CLI, XCom, variáveis, conexões e depuração.

        20 perguntas · 40 min
        Simulado · EspecialistaTeste de seleção de Airflow B: autoria de Dags (cronometrado)

        Um teste de Airflow cronometrado, com 20 perguntas, sobre TaskFlow, templates, branching, trigger rules, sensores, mapeamento, assets, testes e pools.

        20 perguntas · 45 min

        Pratique Apache Airflow em um espaço de trabalho no navegador que lê seus arquivos de Dag e os executa em uma simulação do Airflow 3.3: a lista de Dags, as visualizações Grid e Graph, os logs das tarefas, XCom, variáveis, conexões, pools, assets e um terminal com a linha de comando airflow. Você começa com o seu primeiro Dag e a API TaskFlow, e depois o agenda, passa dados entre tarefas, tenta de novo o que falha, espera arquivos com sensores, cria ramificações, mapeia tarefas sobre listas e dispara Dags a partir de assets. Os níveis seguintes cobrem backfills, testes, padrões de produção e incidentes, com projetos, conjuntos de perguntas de entrevista e testes cronometrados. Cada tarefa é verificada com os seus dados e com uma cópia oculta. Não é preciso instalar nada.

        Prática de entrevistas

        Explique o que você aprendeu em uma entrevista em tela cheia. Fale ou digite e depois revise suas respostas usando a rubrica do seu nível.

        Processos seletivos por cargo

        Iniciante

        GrátisVocê não precisa de conta nem de cartão. Pode praticar todas as lições desta unidade.

        Dags, tarefas e dependências

        Escreva arquivos de Dag com DAG e @dag, passe dados com TaskFlow, defina dependências e use os operadores clássicos.

        6 lições

        Executar Dags e ler logs

        Dispare e pause execuções, leia os logs das tarefas, use a linha de comando do airflow e corrija erros de importação.

        5 lições

        XCom, params, variáveis e conexões

        Passe valores entre tarefas, dê entradas aos Dags, leia configurações e credenciais e renderize templates.

        6 lições

        Intermediário

        Agendamentos, intervalos de dados e backfills

        Escolha agendamentos, entenda as datas lógicas e os intervalos de dados no Airflow 3, reexecute o histórico com catchup e backfills, e agende em horário local.

        5 lições

        Retries, timeouts, alertas e reexecuções

        Faça retry do que é transitório, interrompa o que trava, avise sobre falhas e execuções atrasadas, torne as cargas idempotentes e reexecute tarefas com segurança, e depois construa o pipeline noturno da Marigold.

        8 lições

        Avançado

        Trigger rules, branching e grupos

        Decida quando as tarefas são executadas com trigger rules, escolha caminhos com branches e short circuits, e organize as tarefas com grupos, setup e teardown.

        5 lições

        Sensores e dependências entre Dags

        Espere por arquivos, relatórios e outros Dags sem desperdiçar slots de worker, e conecte Dags que dependem uns dos outros.

        5 lições

        Assets e agendamento orientado a dados

        Inicie Dags quando os dados que eles leem forem atualizados, combine assets com condições e relógios, passe detalhes nos eventos de assets e escreva assets com @asset.

        5 lições

        Mapeamento dinâmico de tarefas

        Faça fan-out sobre listas que só são conhecidas na hora da execução, combine e fixe argumentos, proteja sistemas com limite de chamadas e construa o rastreador matinal de pacotes da Bramble.

        5 lições

        Especialista

        Testar Dags

        Detecte arquivos quebrados com testes de DagBag, teste a lógica das tarefas com pytest e execute Dags inteiros no CI com dag.test().

        4 lições

        Airflow em produção

        Compartilhe sistemas com segurança usando pools e prioridades, conheça os componentes do Airflow 3, escreva arquivos de Dag rápidos de parsear e seguros para reexecutar, e compare o Airflow com o Dagster.

        5 lições

        Incidentes e um projeto de pagamentos

        Resolva incidentes realistas, do sintoma à correção e ao resumo para o negócio, e depois construa de ponta a ponta a conciliação de liquidações da Fenwick Pay.

        4 lições

        Entrevistas e testes técnicos

        Pratique perguntas de entrevista de Airflow em três níveis e faça dois testes técnicos cronometrados sobre fundamentos e criação de Dags.

        5 lições

        Um Dag no Airflow 3

        Todas as lições partem de arquivos como este: um Dag definido com @dag, tarefas escritas como funções Python com @task e a data da execução lida do Airflow, não digitada à mão.

        import pendulum
        from airflow.sdk import dag, task
        
        
        @dag(schedule="@daily", start_date=pendulum.datetime(2026, 11, 1, tz="UTC"))
        def marigold_daily():
            @task
            def extract_sales(ds=None):
                return fetch_sales(ds)
        
            @task
            def total_revenue(rows):
                return round(sum(r["revenue"] for r in rows), 2)
        
            total_revenue(extract_sales())
        
        
        marigold_daily()

        Temas de Airflow no curso

        Tema Lição
        Dags, tarefas, execuções e instâncias de tarefa O básico do Airflow
        with DAG e @dag Seu primeiro Dag no Airflow
        A API TaskFlow TaskFlow: tarefas como funções Python
        >>, listas e chain Dependências entre tarefas
        BashOperator e PythonOperator Operadores clássicos
        Disparar e pausar Dags Disparar, pausar e ler execuções
        Logs de tarefas Logs de tarefas
        A CLI airflow A linha de comando do Airflow
        Erros de importação Corrigir erros de importação
        XCom XCom: passar valores pequenos entre tarefas
        Params e configuração da execução Params e configuração da execução
        Variáveis Variáveis: configurações fora do código
        Conexões Conexões e hooks
        Templates Jinja e macros Templates Jinja e macros
        Agendamentos, cron e timedeltas Agendamentos no Airflow
        Datas lógicas e intervalos de dados Datas lógicas e intervalos de dados
        Catchup e backfills Catchup e backfills
        Fusos horários Fusos horários e horário de verão
        Retries Retries: quando tentar de novo e quando parar
        Timeouts Timeouts para tarefas e execuções
        Callbacks de falha Callbacks: receba um aviso quando uma tarefa falhar
        Deadline alerts (o substituto dos SLAs) Deadline alerts
        Tarefas idempotentes Tarefas idempotentes
        Limpar e repetir tarefas Limpar, marcar e repetir tarefas
        Trigger rules Trigger rules: quando uma tarefa pode ser executada
        Branching com @task.branch Branching com @task.branch
        Short circuits Short circuits: pare uma execução antes da hora
        Task groups, setup e teardown Task groups, setup e teardown
        FileSensor Sensores de arquivo: espere pelo arquivo
        Modos de sensor e sensores deferrable Modos de sensor: poke, reschedule e deferrable
        @task.sensor Sensores próprios com @task.sensor
        ExternalTaskSensor e TriggerDagRunOperator Dependências entre Dags
        Assets e agendamento orientado a dados Assets: dispare um Dag quando os dados dele mudarem
        Condições de assets e AssetOrTimeSchedule Condições de assets: e, ou, e um relógio
        Eventos de assets, outlet_events e triggering_asset_events Passe detalhes com os eventos de assets
        O decorador @asset O decorador @asset
        Mapeamento dinâmico de tarefas com expand Mapeamento dinâmico de tarefas: uma tarefa por item
        partial e expand_kwargs partial, vários argumentos e expand_kwargs
        Limites e retries em tarefas mapeadas Tarefas mapeadas: retries, limites e encadeamentos
        Testes de importação e de políticas com DagBag Testes de integridade de Dags com DagBag
        Testes unitários de tarefas TaskFlow Testes unitários das funções de tarefa
        dag.test() no pytest Execute um Dag inteiro em um teste com dag.test()
        Pools e priority weights Pools e priority weights
        Scheduler, Dag processor, API server, triggerer e executors Como o Airflow 3 executa seus Dags
        Boas práticas de Airflow Arquivos de Dag leves de parsear e seguros de reexecutar
        Airflow versus Dagster Airflow e Dagster: uma comparação justa
        Casos de incidentes Caso: uma semana presa atrás de um dia ruim, a atualização que mudou o dia, a manhã em que os scanners travaram
        Um projeto de conciliação de ponta a ponta Projeto: a conciliação de liquidações da Fenwick Pay
        Perguntas de entrevista de Airflow Fáceis, intermediárias, difíceis
        Testes práticos de Airflow cronometrados Fundamentos, autoria de Dags

        Fluxos de eventos

        Pratique Apache Kafka para inspecionar chaves, ordenação nas partições e offsets dos consumidores antes de consultar os dados no destino. A referência de comandos Kafka relaciona cada ação do console ao estado que ela altera.

        Perguntas frequentes

        Preciso instalar o Airflow?

        Não. O espaço de trabalho simula o Airflow 3.3 no seu navegador: lê seus arquivos de Dag, executa esses Dags em um agendador simulado e mostra a lista de Dags, o Grid, o Graph, os logs e um terminal com a linha de comando airflow. Quando simplifica algo, a lição avisa.

        Qual versão do Airflow o curso ensina?

        O Airflow 3, com os imports do Task SDK (from airflow.sdk import dag, task), schedule no lugar de schedule_interval e os padrões do Airflow 3 para catchup e timetables. As mudanças da 3.4 são mencionadas onde importam.

        É grátis?

        A primeira unidade, sim, sem cadastro nem cartão. O resto do curso é liberado com o plano One Course ou All Access, e na página de preços você vê todos os planos e preços.

        Como meu trabalho é corrigido?

        Pela execução: a correção lê seu arquivo de Dag, executa o Dag e confere o resultado (estados das tarefas, valores de XCom, comandos renderizados, linhas carregadas), com os seus dados e com uma cópia oculta. Se você errar, recebe uma dica sobre o que provavelmente deu errado.

        Este curso é da Apache Software Foundation?

        Não. The Work Gym é independente e não é afiliado à Apache Software Foundation. Apache, Apache Airflow e Airflow são marcas da Apache Software Foundation.

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        Alterar seu plano

        Verificando o preço

        Ajuda e feedback

        Faça uma pergunta, conte o que não está funcionando ou compartilhe uma ideia. Respondemos por e-mail.

        Qual é o assunto?

        Usamos apenas para responder a você.