País ou região e idioma

    Escolha seu país ou região e seu idioma.

    Sugerido para você

      Todos os países e regiões

        Escolha seu personagem

        Ele aparece na barra superior e no seu perfil. Você pode mudar quando quiser.

        Como se tornar engenheiro de dados

        Aprenda SQL a fundo, o Python necessário para mover e conferir dados, um data warehouse na nuvem, transformações testadas no dbt e um orquestrador que executa tudo na hora certa. Cada exercício é corrigido, e a trilha termina com projetos de pipelines, uma avaliação cronometrada com todas as ferramentas e a entrevista.

        Ferramentas
        SQL, PostgreSQL para engenheiros, Python, SQL do Snowflake, dbt, Dagster, Apache Airflow, Apache Kafka
        Unidades
        41 unidades, 208 lições
        Exercícios corrigidos
        1.091
        Projetos com várias ferramentas
        3
        Avaliação final
        12 tarefas, 50 minutos

        Cerca de 53 horas de lições, segundo a estimativa de cada lição.

        Seu progresso

        Nada concluído ainda. O progresso é salvo neste navegador conforme você termina as lições, e na sua conta quando você faz login.

        Lições
        0 de 208 lições
        Projetos
        0 de 3 concluídos
        Avaliação
        Ainda não feita

        Comece com Consulte uma tabela

        A trilha, unidade a unidade

        Siga os passos nesta ordem. Cada passo é um conjunto de unidades de um curso, não o curso inteiro: as unidades que este cargo usa. Abra uma unidade para começar a primeira lição dela.

        1. PostgreSQL para desenvolvimento

          Modele tabelas com restrições, escolha índices conforme as consultas e teste os limites das transações no PostgreSQL. Examine planos de execução e pratique mudanças seguras de esquema antes de conectar um serviço ao banco de dados.

          1. Índices para a carga de trabalhoIntermediário · 5 lições · 26 exercícios
          2. Planos de consultaAvançado · 5 lições · 26 exercícios
          3. Alterações seguras de esquemaAvançado · 5 lições · 28 exercícios
        2. Python para trabalhar com dados

          Python move dados entre sistemas e confere tudo no caminho. Você aprende a linguagem dos valores e das coleções até as funções, depois lê e grava arquivos e formatos, e escreve código que falha de forma clara em vez de falhar em silêncio.

          1. Conceitos básicosIniciante · 5 lições · 26 exercíciosGrátis
          2. ColeçõesIniciante · 6 lições · 33 exercícios
          3. Fluxo de controleIniciante · 5 lições · 30 exercícios
          4. FunçõesIniciante · 4 lições · 24 exercícios
          5. Trabalhando com dadosIntermediário · 7 lições · 40 exercícios
          6. Código confiávelAvançado · 4 lições · 23 exercícios
        3. Um data warehouse na nuvem: Snowflake

          Em muitas empresas, os dados de análise acabam em um data warehouse na nuvem. Você aprende a se localizar no Snowflake, a consultar do jeito dele, a achatar JSON e arrays na granularidade certa, a alterar dados com segurança e a carregar arquivos de forma incremental.

          1. Como se orientar no SnowflakeIniciante · 5 lições · 27 exercíciosGrátis
          2. Fundamentos de consultas, do jeito SnowflakeIniciante · 6 lições · 36 exercícios
          3. JSON e granularidade de arraysIntermediário · 7 lições · 38 exercícios
          4. Alterações seguras nos dadosAvançado · 5 lições · 28 exercícios
          5. Arquivos e pipelines incrementaisEspecialista · 7 lições · 35 exercícios
        4. Transformações com dbt

          O dbt transforma tabelas brutas em modelos testados em que as pessoas podem confiar. Você monta um projeto, declara as fontes, constrói e testa modelos, escreve modelos de análise, adiciona testes de qualidade e documentação, processa de forma incremental e guarda o histórico com snapshots.

          1. Fundamentos do projetoIniciante · 4 lições · 20 exercíciosGrátis
          2. Origens e relaçõesIniciante · 4 lições · 20 exercícios
          3. Build e testeIniciante · 5 lições · 28 exercícios
          4. Modelos analíticosIntermediário · 5 lições · 26 exercícios
          5. Qualidade de dados e documentaçãoIntermediário · 5 lições · 26 exercícios
          6. Processamento incrementalAvançado · 5 lições · 26 exercícios
          7. Registros históricosAvançado · 4 lições · 22 exercícios
        5. Orquestração com Dagster

          Um pipeline precisa rodar sozinho, em ordem, e avisar você quando falha. Você define ativos e suas dependências, agenda jobs, divide o trabalho em partições para os reprocessamentos e adiciona verificações que pegam dados desatualizados ou errados.

          1. Assets e o grafo de assetsIniciante · 5 lições · 27 exercíciosGrátis
          2. Jobs e schedulesIntermediário · 4 lições · 22 exercícios
          3. Partições e backfillsIntermediário · 6 lições · 30 exercícios
          4. Asset checks e freshnessIntermediário · 6 lições · 28 exercícios
        6. Agendamento com Airflow

          Defina dependências entre tarefas, inspecione execuções e logs e escolha agendamentos antes de trabalhar novas tentativas ou reprocessamentos históricos.

          1. Dags, tarefas e dependênciasIniciante · 6 lições · 33 exercíciosGrátis
          2. Executar Dags e ler logsIniciante · 5 lições · 27 exercícios
          3. Agendamentos, intervalos de dados e backfillsIntermediário · 5 lições · 28 exercícios
        7. Fluxos de eventos com Kafka

          Inspecione partições, eventos com chave e offsets confirmados. Explique como uma falha ou um rebalanceamento muda o trabalho pendente de processamento.

          1. Logs, tópicos e réplicasIniciante · 4 lições · 20 exercíciosGrátis
          2. Chaves, partições e offsetsIniciante · 4 lições · 20 exercícios
          3. Posições e grupos de consumidoresIniciante · 4 lições · 20 exercícios

        Projetos para este cargo

        Cada projeto parte do briefing de uma empresa fictícia e passa de uma ferramenta para outra como no trabalho de verdade: o que você constrói em uma etapa é o ponto de partida da próxima. Todos os briefings são gratuitos para ler.

        Wayfriend
        DatabricksdbtSQLDagster
        Projeto

        De convites a encontros

        O Wayfriend quer saber se amigos que combinam de se encontrar realmente passam tempo juntos. Limpe os eventos brutos, modele os encontros, meça o sucesso e planeje o próximo dia de trabalho.

        5 etapas · 3 h 30 minVer o briefing
        Wayfriend
        DatabricksSQL
        Estudo de caso

        A questão dos lembretes

        Denver testou notificações de lembrete antes dos encontros planejados. Decida se o Wayfriend deve enviá-las em todas as cidades.

        3 etapas · 45 minVer o briefing
        Copperline Freight
        SnowflakedbtTableau
        Projeto

        Leve o relatório de pontualidade para o data warehouse

        O relatório de pontualidade da Copperline é uma planilha que alguém refaz toda segunda-feira. Refaça-o no data warehouse: uma linha atual por envio no Snowflake, um modelo de dbt testado e uma visualização do Tableau em que operações possa confiar.

        4 etapas · 2 h 40 minVer o briefing
        Wayfriend
        DatabricksdbtSQLDagster
        Jornada

        Seus primeiros 90 dias na engenharia de dados

        Você entrou na equipe de dados de duas pessoas da Wayfriend. Monte o pipeline de encontros, responda à primeira pergunta da equipe de crescimento e mantenha-o funcionando.

        4 capítulos · 8 hVer a jornada

        A avaliação de preparo para o cargo

        Quando terminar as unidades, coloque-se à prova com todas as ferramentas do cargo de uma vez: 12 tarefas práticas em 50 minutos, cada uma na ferramenta a que se refere e corrigida automaticamente. O relógio continua correndo mesmo se você fechar a página.

        FerramentaTarefasMinutos
        SQL311
        Python313
        SQL do Snowflake311
        dbt313

        Como funciona a pontuação

        Cada ferramenta
        Pronto se você acertar dois terços das tarefas dela ou mais, Perto com um terço, e se não, Ainda não. Uma tarefa de programação soma a parcela dos testes que passam.
        Pronto para entrevistas
        75% ou mais no total, e todas as ferramentas em Pronto.
        Quase pronto
        50% ou mais no total, e nenhuma ferramenta em Ainda não.
        Continuar praticando
        Qualquer outro resultado. O relatório lista cada tarefa que você errou com a lição que a ensina.

        Abrir a avaliação

        A avaliação é gratuita. O resultado é um feedback para praticar, no formato de relatório do Interview Hub, e não uma decisão de contratação. Cada nova tentativa sorteia tarefas diferentes quando o banco de perguntas permite.

        A entrevista

        O Interview Hub conduz a entrevista de engenharia de dados etapa por etapa, em uma empresa fictícia: você responde em voz alta ou por escrito, quem entrevista faz perguntas de acompanhamento e o relatório cita suas respostas.

        Praticar a entrevista de engenharia de dados

        O que cada plano abre

        Grátis
        A primeira unidade de cada curso, sem conta: 7 das 41 unidades desta trilha. Todos os briefings dos projetos são gratuitos para ler, e a avaliação de preparo para o cargo é gratuita.
        Um curso
        Um curso completo. Nesta trilha, é um destes: SQL: 10 unidades, PostgreSQL para engenheiros: 3 unidades, Python: 6 unidades, SQL do Snowflake: 5 unidades, dbt: 7 unidades, Dagster: 4 unidades, Apache Airflow: 3 unidades, Apache Kafka: 3 unidades.
        Acesso completo
        A trilha inteira: todas as unidades, todas as etapas dos projetos e prática de entrevista falada.

        Ver planos e preços

        O que faz um engenheiro de dados

        Um engenheiro de dados constrói e mantém os pipelines que levam os dados dos sistemas de uma empresa até um data warehouse, limpos, modelados e no prazo. Analistas, dashboards e modelos dependem de que esses dados estejam corretos. O trabalho é em parte construir e em parte manter tudo funcionando: uma fonte muda uma coluna, uma carga roda duas vezes, é preciso reprocessar o mês passado. Um bom engenheiro de dados faz esses imprevistos virarem rotina.

        Do SQL ao orquestrador

        O SQL vem primeiro e vai mais longe, porque todas as ferramentas seguintes se apoiam nele. O Python vem depois, para o que o SQL não consegue fazer. O data warehouse é onde os dois se encontram. O dbt acrescenta estrutura e testes em cima do warehouse, e o orquestrador executa tudo na ordem e no momento certos.

        Mostrar o que você sabe fazer

        Os projetos da Wayfriend são os primeiros meses de uma equipe de dados. Em “Dos convites aos encontros”, você limpa os eventos brutos, modela os encontros e mede o sucesso, e depois responde a uma pergunta de produto sobre os lembretes com os dados que construiu. Na Copperline, o relatório de pontualidade sai de uma planilha e vai para o Snowflake, para um modelo dbt testado e para uma view em que a área de operações pode confiar. Cada projeto deixa você com um pipeline que dá para explicar da origem ao dashboard. Depois, a avaliação mostra qual ferramenta praticar antes de você se candidatar.

        Para relatórios de bancos de dados, pratique a otimização de consultas SQL: leia o plano e preserve o resultado ao reescrever a consulta. A referência rápida de SQL apresenta a sintaxe.

        Perguntas frequentes

        Preciso ser engenheiro de software antes?

        Não. Muitos engenheiros de dados começam como analistas que escreviam cada vez mais SQL, e outros como engenheiros de software. Você precisa de um SQL sólido, de um Python que funcione e de entender como os dados se movem e quebram. Esta trilha pratica isso passo a passo.

        Por que Snowflake e não BigQuery ou Databricks?

        As ideias valem para qualquer data warehouse: granularidade, alterações seguras, cargas incrementais e custo. Se as vagas que interessam a você pedem outra plataforma, o curso de BigQuery e o curso de Databricks ensinam o mesmo trabalho nessas ferramentas.

        Quanto tempo leva?

        As aulas desta trilha somam cerca de 53 horas. SQL é o passo mais longo de propósito: é o que as entrevistas mais cobram. Não prometemos em quanto tempo você vai conseguir um emprego.

        Quanto custa?

        A primeira unidade de cada curso é grátis e não pede cadastro. One Course libera um curso inteiro; All Access libera a trilha completa. Na página de preços você vê todos os planos e preços.

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        Ajuda e feedback

        Faça uma pergunta, conte o que não está funcionando ou compartilhe uma ideia. Respondemos por e-mail.

        Qual é o assunto?

        Usamos apenas para responder a você.