País ou região e idioma

    Escolha seu país ou região e seu idioma.

    Sugerido para você

      Todos os países e regiões

        Escolha seu personagem

        Ele aparece na barra superior e no seu perfil. Você pode mudar quando quiser.

        Engenharia de dados com um exemplo em SQL

        Entenda engenharia de dados e pratique uma transformação em SQL com dados fictícios, conferência do resultado e um roteiro de estudos para começar na área.

        Uma pessoa pratica em um notebook em um espaço de trabalho tranquilo

        Engenharia de dados é o trabalho de construir e manter processos que coletam, organizam e disponibilizam dados para outros usos. Neste tutorial, você vai transformar cinco vendas fictícias em um resumo diário, identificar os registros inválidos e conferir se todos receberam um destino.

        O trabalho com dados confiáveis

        O trabalho com dados confiáveis envolve definir regras, aplicar transformações e verificar o que aconteceu com cada registro. Um total calculado corretamente ainda pode estar incompleto se vendas desaparecerem durante o processamento.

        Uma sequência de etapas de processamento recebe o nome de pipeline. Um pipeline pode buscar um arquivo, conferir os campos, transformar os registros e salvar o resultado para consultas posteriores. Aqui, você vai executar apenas a transformação e a conferência, sem montar um sistema completo.

        Quem trabalha com engenharia de dados combina regras com a equipe responsável pelas informações, implementa processos e investiga falhas. Quem trabalha com análise de dados usa as informações disponíveis para responder perguntas do negócio. As atividades podem se cruzar, mas preparar uma base confiável é diferente de interpretar seus resultados.

        A regra antes da ferramenta

        A regra deste exercício aceita somente vendas com data preenchida e valor maior que zero. Os registros que descumprem a regra precisam aparecer em uma conferência separada, em vez de simplesmente desaparecer do resumo.

        Cada venda tem um identificador, uma data e um valor em reais. Duas vendas válidas pertencem ao primeiro dia; outra pertence ao dia seguinte. Uma venda tem valor negativo e outra está sem data.

        Antes de escrever a consulta, defina os três resultados que você precisa conferir:

        • Resumo diário: quantidade e valor total das vendas aceitas por data.
        • Rejeitados: identificador e motivo de recusa dos registros inválidos.
        • Conferência de completude: quantidade de entradas igual à soma dos aceitos e rejeitados.

        O exemplo usa PostgreSQL, um sistema de banco de dados com seu próprio dialeto de SQL. Abra um editor conectado a esse banco e execute cada consulta inteira. Os dados fictícios ficam dentro das consultas, portanto você não precisa criar tabelas permanentes.

        Pratique o que este artigo ensina

        A transformação em SQL

        A transformação mantém as vendas válidas e calcula a quantidade e o valor total por dia. Copie a consulta abaixo e execute no PostgreSQL.

        WITH vendas (id, data_venda, valor) AS (
          VALUES
            (1, DATE '2026-03-01', 100.00),
            (2, DATE '2026-03-01', 50.00),
            (3, DATE '2026-03-02', -20.00),
            (4, NULL, 40.00),
            (5, DATE '2026-03-02', 80.00)
        )
        SELECT data_venda, COUNT(*) AS quantidade, SUM(valor) AS total
        FROM vendas
        WHERE data_venda IS NOT NULL AND valor > 0
        GROUP BY data_venda
        ORDER BY data_venda;

        WITH permite nomear um resultado temporário dentro da consulta. Nesse caso, vendas recebe os registros definidos por VALUES. Os nomes entre parênteses identificam as três colunas; DATE indica que os textos seguintes representam datas. NULL representa um valor ausente.

        WHERE aplica o filtro antes do agrupamento. A condição exige data preenchida e valor positivo ao mesmo tempo. GROUP BY reúne os registros por data; COUNT conta as vendas aceitas e SUM soma seus valores. ORDER BY apresenta os dias em ordem.

        data_venda | quantidade | total
        2026-03-01 | 2          | 150.00
        2026-03-02 | 1          | 80.00

        As duas linhas exibidas são grupos por data, não a quantidade de vendas aceitas.

        Agora tente reconstruir a consulta sem copiar: comece pelos dados, aplique o filtro e só depois acrescente o agrupamento. Compare tanto os valores quanto a quantidade de vendas. Acertar apenas o total não comprova que os registros corretos foram incluídos.

        Os registros rejeitados

        Os registros rejeitados explicam o que ficou fora do resumo e permitem verificar se o filtro descartou exatamente o que deveria. Execute esta segunda consulta, que usa a mesma entrada e funciona independentemente da primeira.

        WITH vendas (id, data_venda, valor) AS (
          VALUES
            (1, DATE '2026-03-01', 100.00),
            (2, DATE '2026-03-01', 50.00),
            (3, DATE '2026-03-02', -20.00),
            (4, NULL, 40.00),
            (5, DATE '2026-03-02', 80.00)
        )
        SELECT id,
          CASE
            WHEN data_venda IS NULL THEN 'Data ausente'
            ELSE 'Valor ausente ou não positivo'
          END AS motivo
        FROM vendas
        WHERE data_venda IS NULL OR valor IS NULL OR valor <= 0
        ORDER BY id;

        CASE escolhe um resultado conforme uma condição: quando falta a data, informa esse problema; nos demais registros selecionados pelo filtro, informa o problema com o valor. O filtro usa OR porque basta uma condição de rejeição ser verdadeira para recusar a venda.

        id | motivo
        3  | Valor ausente ou não positivo
        4  | Data ausente

        A conferência fecha: cinco registros de entrada correspondem a três aceitos e dois rejeitados. Essa comparação é uma reconciliação de registros, isto é, uma verificação de que as quantidades entre etapas são compatíveis. Além de contar, confira os identificadores rejeitados: as vendas 3 e 4 têm os problemas previstos.

        A variação com uma venda corrigida

        Altere o valor da venda 3 de negativo para positivo, usando 20.00 nas duas consultas. Faça a alteração nas duas porque cada consulta contém sua própria cópia dos dados. Manter essas cópias sincronizadas é um trabalho manual repetitivo: se você corrigir apenas uma delas, vai comparar resultados de entradas diferentes. Antes de executar, preveja quais resultados devem mudar.

        O primeiro dia permanece igual, e somente a venda 4 continua rejeitada.

        Resumo após a alteração:
        data_venda | quantidade | total
        2026-03-01 | 2          | 150.00
        2026-03-02 | 2          | 100.00
        
        Rejeitados após a alteração:
        id | motivo
        4  | Data ausente

        A nova conferência deve fechar com cinco entradas, quatro vendas aceitas e uma rejeitada. Se o resumo mudou, mas os rejeitados continuam iguais, verifique se você atualizou os dados nas duas consultas.

        Os erros e os limites

        O erro central é tratar um resultado plausível como prova de uma transformação correta. Um resumo pode apresentar valores razoáveis mesmo quando registros foram perdidos, duplicados ou classificados com a regra errada.

        Outro erro frequente envolve valores ausentes. Em SQL, uma comparação comum com NULL não produz verdadeiro ou falso como uma comparação entre números. Para identificar ausência, use IS NULL; para exigir preenchimento, use IS NOT NULL. O teste explícito de valor ausente na consulta de rejeitados evita que uma venda sem valor fique sem destino.

        Também não leve a regra fictícia diretamente para uma operação real: um valor negativo pode representar uma devolução legítima. A equipe responsável precisa definir se devoluções entram no resumo, ficam separadas ou exigem outro tratamento.

        O exemplo não importa arquivos, não salva o resumo, não agenda execuções e não evita duplicidades. Além disso, CASE mostra apenas o primeiro motivo aplicável: se uma venda estiver sem data e sem valor, a consulta exibirá somente “Data ausente”. Uma verificação completa de qualidade pode precisar registrar vários problemas por venda.

        A sequência de estudo e o portfólio

        Uma sequência de estudo útil amplia o exemplo conforme surgem necessidades, em vez de começar por uma lista extensa de ferramentas. Primeiro, aprenda a consultar e conferir os dados; depois, estude como armazenar e automatizar o processamento.

        Use o exercício como ponto de partida para esta sequência:

        • SQL e qualidade de dados: pratique filtros, agrupamentos e junções, que combinam registros de tabelas relacionadas. Documente as regras e os resultados esperados.
        • Modelagem de dados: aprenda a organizar tabelas e relações. Desenhe onde ficariam vendas, clientes e produtos e explique os identificadores usados.
        • Python: pratique leitura de arquivos e automação. Acrescente ao projeto uma etapa de entrada sem abandonar as conferências.
        • Git: use controle de versões para registrar mudanças no código e nas regras. Mantenha um histórico que explique cada alteração.

        Para ver essas etapas em ordem, com projetos de pipeline e uma avaliação, consulte a trilha Como se tornar engenheiro de dados.

        Processamento distribuído divide o trabalho entre máquinas. Deixe esse estudo para quando o volume ou o tempo de execução justificar a complexidade adicional. Neste exercício pequeno, a prioridade é explicar e verificar cada transformação.

        Para montar um portfólio, salve as consultas, descreva a regra de aceitação e registre as saídas esperadas antes e depois da correção. Acrescente um teste com valor ausente. Esse material mostra não apenas que você escreveu SQL, mas como verificou o comportamento da transformação.

        Em uma entrevista, uma pergunta possível é: “Como você verificaria se essa transformação perdeu registros?”. Uma boa resposta explica a separação entre aceitos e rejeitados, reconcilia as contagens e reconhece que contar não detecta todos os problemas. Quem entrevista procura entender seu raciocínio de verificação, não apenas sua memória de sintaxe.

        Depois de explicar sua solução em voz alta, use a prática de entrevista: Engenharia de dados para continuar a preparação.

        Estudo autônomo, graduação e pós-graduação são formas diferentes de organizar a aprendizagem. Você pode começar o exercício sem esperar por uma formação formal; depois, compare essas opções pela estrutura, pelos fundamentos e pelo acompanhamento que você precisa. Nenhum diploma ou conjunto de ferramentas substitui a capacidade de justificar uma regra e conferir seu resultado.

        Perguntas frequentes

        Qual é a diferença entre engenharia de dados e análise de dados? Engenharia de dados constrói e mantém processos que disponibilizam informações confiáveis. Análise de dados usa essas informações para responder perguntas do negócio, embora as atividades possam se sobrepor.

        Preciso aprender Python antes de SQL? Não para executar este exemplo: SQL é suficiente para filtrar, agrupar e conferir os registros. Python pode entrar depois, quando você precisar ler arquivos ou automatizar etapas fora do banco.

        Preciso de graduação ou pós-graduação para começar a estudar? Você pode começar por consultas e pequenos projetos sem esperar por uma graduação ou pós-graduação. Uma formação estruturada pode organizar os estudos, mas requisitos de seleção variam conforme a vaga.

        Como transformar um exercício de SQL em um projeto de portfólio? Inclua os dados fictícios, as consultas, as regras de aceitação e os resultados esperados. Documente também um caso inválido e uma correção, explicando como as contagens e os totais mudam.

        Quando uma consulta passa a fazer parte de um pipeline? Uma consulta faz parte de um pipeline quando integra uma sequência de processamento, por exemplo, entre a chegada dos dados e a gravação do resumo. Em uma operação recorrente, também é necessário definir execução, tratamento de falhas e conferências.

        Pratique o que este artigo ensina

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        Ajuda e feedback

        Faça uma pergunta, conte o que não está funcionando ou compartilhe uma ideia. Respondemos por e-mail.

        Qual é o assunto?

        Usamos apenas para responder a você.