Um curso
Todas as aulas, projetos e simulados de Dagster.
Cobrança mensal. Cancele quando quiser.
Nível 1: Estreante
0 pontos
Faça login para salvar seu progresso e continuar em outros dispositivos.
Cursos / Ferramentas de dados e análise
Aprenda Dagster criando pipelines como assets em um workspace do Dagster que funciona de verdade. Você define assets e resources, agenda jobs, particiona e faz backfill do histórico, reage a eventos com sensores e adiciona asset checks, com cada execução conferida. Entre os projetos há um pipeline de logística com dbt e um incidente de pagamentos.
Escolha seu plano aqui. Seu curso já está selecionado.
Construa o pipeline diário de receita da Juniper & Pine: partições, metadados, um check, um job e um schedule noturno.
6 passosProjeto · AvançadoMétricas diárias por depósito para uma empresa de entregasConstrua as métricas diárias por depósito da Larkspur Freight: partições, um indicador com metadados, um check de aviso, um job, um schedule e um backfill.
6 passosEstudo de caso · AvançadoEstudo de caso do Dagster: um backfill que falhou pela metadeUm backfill da taxa de atraso falhou em alguns dias. Descubra por quê, corrija e repita só o que falhou.
5 passosEstudo de caso · EspecialistaEstudo de caso de Dagster: um sensor que disparou duas vezesO arquivo do armazém norte foi carregado duas vezes depois de um deploy. Encontre a causa no histórico de execuções e torne o sensor seguro para ser reavaliado.
5 passosEstudo de caso · EspecialistaEstudo de caso do Dagster: a lacuna nas partições que ninguém notouUma semana depois, a equipe financeira descobre que falta um dia. Preencha-o, explique por que o schedule não o fez e torne visível a próxima lacuna.
4 passosEstudo de caso · EspecialistaEstudo de caso de Dagster: um segredo diferente em cada ambienteO staging funciona e a produção falha com a API da loja. Chegue até a configuração e passe todos os ajustes para o ambiente.
4 passosProjeto · EspecialistaLiquidações diárias a comerciantes para uma empresa de pagamentosConstrua o pipeline de liquidações da Tallyway: remoção de duplicatas, liquidações, um check bloqueante, freshness e um schedule.
5 passosSimulado · EspecialistaTeste técnico de Dagster A (cronometrado)Um teste técnico cronometrado de 20 perguntas sobre Dagster: assets, seleções, configuração, resources, schedules, partições, sensores e checks.
20 perguntas · 40 minSimulado · EspecialistaTeste técnico de Dagster B (cronometrado)Um segundo teste técnico cronometrado de Dagster, com 20 perguntas: automação, mappings, backfills, IO managers, testes e produção.
20 perguntas · 40 minPratique orquestração de dados em um espaço de trabalho no navegador que executa suas definições em Python sobre uma simulação do Dagster 1.13: o grafo de assets, as execuções e seus logs de eventos, partições e backfills, schedules, sensores, declarative automation, asset checks e um terminal com a linha de comando dg. Comece com seu primeiro asset e suas dependências e depois adicione metadados, configuração, resources, partições, sensores e checks de qualidade de dados. Os níveis seguintes cobrem automation conditions, novas tentativas, testes, assets do dbt e operação em produção, com projetos de varejo, logística e pagamentos, estudos de caso de incidentes, conjuntos de perguntas de entrevista e simulados cronometrados. Cada tarefa é verificada com seus dados e com uma cópia oculta. Não é preciso instalar nada.
Work one company brief through several tools. Your Dagster stage reads the tables from the stage before.
Explique o que você aprendeu em uma entrevista em tela cheia. Fale ou digite e depois revise suas respostas usando a rubrica do seu nível.
Processos seletivos por cargoIniciante
Defina assets, conecte-os e materialize a seleção certa.
Registre metadados, anote nos logs o que importa, organize os assets e selecione-os com precisão.
Parametrize as execuções, conecte sistemas externos como resources, tire os segredos do código e controle o armazenamento.
Intermediário
Dê nome a seleções como jobs e execute-as com schedules cron no fuso horário certo.
Particione assets por dia, por uma lista fixa ou pelos dois, relacione partições entre assets e faça o backfill do histórico.
Lance execuções quando arquivos chegam ou assets mudam, lembre o progresso com cursores, avise sobre falhas e adicione partições em tempo de execução.
Teste os dados com asset checks, barre dados ruins com checks bloqueantes, declare a freshness e monte um pipeline diário de receita.
Avançado
Mantenha os assets atualizados com automation conditions eager, on_cron e compostas.
Escreva jobs no estilo de tarefas com ops, tente novamente as falhas transitórias, falhe rápido nas demais e produza vários assets de uma vez.
Teste os assets diretamente, teste as conexões com materialize e teste sensores e schedules com contextos construídos.
Carregue modelos do dbt como assets, defina suas chaves e grupos, monte um pipeline particionado para uma empresa de entregas e recupere um backfill que falhou pela metade.
Especialista
Code locations, o daemon, as filas de execuções e os pools de concorrência, e a migração de DAGs do Airflow para assets.
Diagnostique execuções duplicadas, lacunas nas partições e segredos de ambiente, e monte um pipeline de liquidação com as salvaguardas que uma empresa de pagamentos precisa.
Perguntas de entrevista em três níveis e dois testes técnicos de Dagster cronometrados, com explicações.