Uma entrevista sobre produção costuma acrescentar uma condição depois da sua primeira resposta: o lote se repete, um evento chega atrasado ou uma chave concentra a maior parte dos dados. Quando isso acontecer, revise o design. Uma solução que produz as linhas certas uma vez ainda pode perder histórico ou criar duplicatas depois de uma reinicialização.
Estas perguntas pedem regras explícitas de mudanças e de recuperação. Você vai calcular um resumo de qualidade de um fluxo, preservar o significado de negócio da remoção de duplicatas de eventos e explicar o que um teste local consegue demonstrar sobre o comportamento distribuído. O navegador executa as tarefas do notebook sobre o subconjunto local documentado. Ele não consegue demonstrar um ganho de velocidade em um cluster nem reproduzir as garantias de entrega de uma fonte real. Para cada decisão de design, identifique o estado durável, a chave de negócio e o ponto em que o progresso é confirmado. Se isso não estiver especificado, a afirmação sobre a recuperação está incompleta.
A saída repetida tem ids de ingestão diferentes. Remova duplicatas pela identidade do evento indicada, não pelo id da linha.