Ordenação e chaves
Uma transportadora fictícia tem seis partições e usa o identificador da encomenda como chave. Dois eventos da mesma encomenda chegam em ordem. Onde essa ordem é garantida? Dentro de uma partição. O Kafka não oferece uma ordem global entre os seis logs. Uma chave estável normalmente mantém a encomenda em uma partição enquanto o número de partições e o particionador não mudam.
Commits e recuperação
Um processo conclui o registro no offset 7 e falha antes de confirmar o offset 8. O que seu substituto pode ler? Se o commit armazenado ainda aponta para 7, ele pode ler o registro 7 novamente. O offset confirmado identifica o próximo registro a ser lido. Explique como um destino idempotente trata a duplicata antes de afirmar que o processamento ocorre exatamente uma vez.
Rebalanceamento e atraso
Um grupo tem dois consumidores e três partições. Adicionar um quarto consumidor não permite atribuir uma partição desse tópico a todos os quatro. Mudanças de membros provocam uma redistribuição. Descreva o que acontece com o trabalho em andamento e diferencie a posição do consumidor do offset confirmado de forma durável.
Replicação e confirmação do produtor
Um produtor usa acks=all, fator de replicação 3 e um mínimo de 2 réplicas sincronizadas. Se o conjunto sincronizado cair abaixo de 2, uma gravação não pode atender a esse requisito. Explique o impacto na disponibilidade e por que reduzir o mínimo muda a garantia de durabilidade.
Pratique essas decisões no curso de Kafka e confira seu raciocínio na central de entrevistas. Para discutir um pipeline completo, combine Kafka com Airflow e um data warehouse.