Tidewater Cloud pide un pipeline de telemetría para 20,000 servidores que producen 200 MB/s de registros además de métricas. Entrega el alcance, una estimación del volumen de registros, una tabla de series temporales, el pipeline, la retención del flujo, una política de reducción de resolución y una protección contra la cardinalidad.
Cómo valoran este diseño en una entrevista según el nivel
- Junior: pone un flujo duradero entre los servidores y los almacenes y usa almacenes distintos para métricas y registros.
- Nivel medio: dimensiona el volumen, fija una retención que cubra el retraso de los consumidores y reduce la resolución de las métricas.
- Senior: controla la cardinalidad, planifica la contrapresión y el muestreo y estima el coste por día de retención.
Tidewater Cloud recoge métricas y registros de 20,000 servidores. Durante un incidente, el equipo de ingeniería necesita la última hora de métricas en menos de un segundo, y los registros deben seguir siendo consultables durante 30 días. Los datos no dejan de llegar, y cuando un almacén va lento los servidores no deben perder datos ni caerse intentando reenviarlos.
Un flujo de eventos duradero en medio absorbe las ráfagas y deja que cada consumidor vaya a su ritmo. Las métricas se agregan en series temporales y se reduce su resolución para conservarlas mucho tiempo; los registros se indexan para buscar y se archivan en bruto. Dimensionarás el volumen de registros, definirás la tabla de series temporales, dibujarás el pipeline, fijarás la retención del flujo, elegirás una política de reducción de resolución e impedirás que una etiqueta descuidada reviente el almacén de métricas.
Amortigua la telemetría en un flujo, guarda métricas y registros en almacenes adecuados para cada uno y controla la cardinalidad y la retención.