A Tidewater Cloud pede um pipeline de telemetria para 20,000 servidores que produzem 200 MB/s de logs, além de métricas. Entregue o escopo, uma estimativa do volume de logs, uma tabela de séries temporais, o pipeline, a retenção do fluxo, uma política de redução de resolução e uma proteção contra a cardinalidade.
Como este design é avaliado em uma entrevista, em cada nível
- Júnior: coloca um fluxo durável entre os servidores e os armazenamentos e usa armazenamentos diferentes para métricas e logs.
- Pleno: dimensiona o volume, define uma retenção que cubra o atraso dos consumidores e reduz a resolução das métricas.
- Sênior: controla a cardinalidade, planeja a contrapressão e a amostragem e estima o custo por dia de retenção.
A Tidewater Cloud coleta métricas e logs de 20,000 servidores. Durante um incidente, a engenharia precisa da última hora de métricas em menos de um segundo, e os logs precisam continuar pesquisáveis por 30 dias. Os dados não param de chegar, e quando um armazenamento fica lento os servidores não podem perder dados nem cair tentando reenviá-los.
Um fluxo de eventos durável no meio absorve as rajadas e deixa cada consumidor andar no seu próprio ritmo. As métricas são agregadas em séries temporais e têm a resolução reduzida para retenção longa; os logs são indexados para busca e arquivados brutos. Você vai dimensionar o volume de logs, definir a tabela de séries temporais, desenhar o pipeline, fixar a retenção do fluxo, escolher uma política de redução de resolução e impedir que um rótulo descuidado estoure o armazenamento de métricas.
Use um fluxo como buffer da telemetria, guarde métricas e logs em armazenamentos adequados a cada um e controle a cardinalidade e a retenção.