De convites a encontros
O Wayfriend quer saber se amigos que combinam de se encontrar realmente passam tempo juntos. Limpe os eventos brutos, modele os encontros, meça o sucesso e planeje o próximo dia de trabalho.
Nível 1: Estreante
0 pontos
Faça login para salvar seu progresso e continuar em outros dispositivos.
Aprenda SQL a fundo, o Python necessário para mover e conferir dados, um data warehouse na nuvem, transformações testadas no dbt e um orquestrador que executa tudo na hora certa. Cada exercício é corrigido, e a trilha termina com projetos de pipelines, uma avaliação cronometrada com todas as ferramentas e a entrevista.
Cerca de 53 horas de lições, segundo a estimativa de cada lição.
Nada concluído ainda. O progresso é salvo neste navegador conforme você termina as lições, e na sua conta quando você faz login.
Siga os passos nesta ordem. Cada passo é um conjunto de unidades de um curso, não o curso inteiro: as unidades que este cargo usa. Abra uma unidade para começar a primeira lição dela.
SQL é a língua do cargo. Além de consultas, joins e funções de janela, um engenheiro de dados cria e altera tabelas, desenha esquemas, muda dados com segurança dentro de transações e lê um plano de execução quando algo fica lento.
Modele tabelas com restrições, escolha índices conforme as consultas e teste os limites das transações no PostgreSQL. Examine planos de execução e pratique mudanças seguras de esquema antes de conectar um serviço ao banco de dados.
Python move dados entre sistemas e confere tudo no caminho. Você aprende a linguagem dos valores e das coleções até as funções, depois lê e grava arquivos e formatos, e escreve código que falha de forma clara em vez de falhar em silêncio.
Em muitas empresas, os dados de análise acabam em um data warehouse na nuvem. Você aprende a se localizar no Snowflake, a consultar do jeito dele, a achatar JSON e arrays na granularidade certa, a alterar dados com segurança e a carregar arquivos de forma incremental.
O dbt transforma tabelas brutas em modelos testados em que as pessoas podem confiar. Você monta um projeto, declara as fontes, constrói e testa modelos, escreve modelos de análise, adiciona testes de qualidade e documentação, processa de forma incremental e guarda o histórico com snapshots.
Um pipeline precisa rodar sozinho, em ordem, e avisar você quando falha. Você define ativos e suas dependências, agenda jobs, divide o trabalho em partições para os reprocessamentos e adiciona verificações que pegam dados desatualizados ou errados.
Defina dependências entre tarefas, inspecione execuções e logs e escolha agendamentos antes de trabalhar novas tentativas ou reprocessamentos históricos.
Inspecione partições, eventos com chave e offsets confirmados. Explique como uma falha ou um rebalanceamento muda o trabalho pendente de processamento.
Cada projeto parte do briefing de uma empresa fictícia e passa de uma ferramenta para outra como no trabalho de verdade: o que você constrói em uma etapa é o ponto de partida da próxima. Todos os briefings são gratuitos para ler.
O Wayfriend quer saber se amigos que combinam de se encontrar realmente passam tempo juntos. Limpe os eventos brutos, modele os encontros, meça o sucesso e planeje o próximo dia de trabalho.
Denver testou notificações de lembrete antes dos encontros planejados. Decida se o Wayfriend deve enviá-las em todas as cidades.
O relatório de pontualidade da Copperline é uma planilha que alguém refaz toda segunda-feira. Refaça-o no data warehouse: uma linha atual por envio no Snowflake, um modelo de dbt testado e uma visualização do Tableau em que operações possa confiar.
Você entrou na equipe de dados de duas pessoas da Wayfriend. Monte o pipeline de encontros, responda à primeira pergunta da equipe de crescimento e mantenha-o funcionando.
Quando terminar as unidades, coloque-se à prova com todas as ferramentas do cargo de uma vez: 12 tarefas práticas em 50 minutos, cada uma na ferramenta a que se refere e corrigida automaticamente. O relógio continua correndo mesmo se você fechar a página.
| Ferramenta | Tarefas | Minutos |
|---|---|---|
| SQL | 3 | 11 |
| Python | 3 | 13 |
| SQL do Snowflake | 3 | 11 |
| dbt | 3 | 13 |
A avaliação é gratuita. O resultado é um feedback para praticar, no formato de relatório do Interview Hub, e não uma decisão de contratação. Cada nova tentativa sorteia tarefas diferentes quando o banco de perguntas permite.
O Interview Hub conduz a entrevista de engenharia de dados etapa por etapa, em uma empresa fictícia: você responde em voz alta ou por escrito, quem entrevista faz perguntas de acompanhamento e o relatório cita suas respostas.
Um engenheiro de dados constrói e mantém os pipelines que levam os dados dos sistemas de uma empresa até um data warehouse, limpos, modelados e no prazo. Analistas, dashboards e modelos dependem de que esses dados estejam corretos. O trabalho é em parte construir e em parte manter tudo funcionando: uma fonte muda uma coluna, uma carga roda duas vezes, é preciso reprocessar o mês passado. Um bom engenheiro de dados faz esses imprevistos virarem rotina.
O SQL vem primeiro e vai mais longe, porque todas as ferramentas seguintes se apoiam nele. O Python vem depois, para o que o SQL não consegue fazer. O data warehouse é onde os dois se encontram. O dbt acrescenta estrutura e testes em cima do warehouse, e o orquestrador executa tudo na ordem e no momento certos.
Os projetos da Wayfriend são os primeiros meses de uma equipe de dados. Em “Dos convites aos encontros”, você limpa os eventos brutos, modela os encontros e mede o sucesso, e depois responde a uma pergunta de produto sobre os lembretes com os dados que construiu. Na Copperline, o relatório de pontualidade sai de uma planilha e vai para o Snowflake, para um modelo dbt testado e para uma view em que a área de operações pode confiar. Cada projeto deixa você com um pipeline que dá para explicar da origem ao dashboard. Depois, a avaliação mostra qual ferramenta praticar antes de você se candidatar.
Para relatórios de bancos de dados, pratique a otimização de consultas SQL: leia o plano e preserve o resultado ao reescrever a consulta. A referência rápida de SQL apresenta a sintaxe.
Não. Muitos engenheiros de dados começam como analistas que escreviam cada vez mais SQL, e outros como engenheiros de software. Você precisa de um SQL sólido, de um Python que funcione e de entender como os dados se movem e quebram. Esta trilha pratica isso passo a passo.
As ideias valem para qualquer data warehouse: granularidade, alterações seguras, cargas incrementais e custo. Se as vagas que interessam a você pedem outra plataforma, o curso de BigQuery e o curso de Databricks ensinam o mesmo trabalho nessas ferramentas.
As aulas desta trilha somam cerca de 53 horas. SQL é o passo mais longo de propósito: é o que as entrevistas mais cobram. Não prometemos em quanto tempo você vai conseguir um emprego.
A primeira unidade de cada curso é grátis e não pede cadastro. One Course libera um curso inteiro; All Access libera a trilha completa. Na página de preços você vê todos os planos e preços.