Tidewater Cloud meminta pipeline telemetri untuk 20,000 host yang menghasilkan log 200 MB/s ditambah metrik. Serahkan cakupan, perkiraan volume log, tabel time series, pipeline, retensi stream, kebijakan downsampling, dan pengaman kardinalitas.
Cara pewawancara menilai level desain ini
- Junior: menempatkan stream yang tahan lama di antara host dan penyimpanan, serta memakai penyimpanan yang berbeda untuk metrik dan log.
- Level menengah: memperkirakan volume, menetapkan retensi yang mencakup lag consumer, dan melakukan downsampling metrik.
- Senior: mengendalikan kardinalitas, merencanakan backpressure dan sampling, serta memperkirakan biaya per hari retensi.
Tidewater Cloud mengumpulkan metrik dan log dari 20,000 host. Para engineer membutuhkan metrik satu jam terakhir dalam waktu kurang dari satu detik saat terjadi insiden, dan log harus tetap dapat dicari selama 30 hari. Data tidak pernah berhenti masuk, dan ketika sebuah penyimpanan melambat, host tidak boleh kehilangan data atau tumbang saat mencoba mengirim ulang data tersebut.
Event stream yang tahan lama di tengah menyerap lonjakan dan membiarkan setiap consumer berjalan dengan kecepatannya sendiri. Metrik diagregasi menjadi time series dan di-downsample untuk retensi panjang; log diindeks untuk pencarian dan diarsipkan mentah. Anda akan memperkirakan volume log, mendefinisikan tabel time series, menggambar pipeline, mengatur retensi stream, memilih kebijakan downsampling, dan mencegah satu label yang ceroboh meledakkan penyimpanan metrik.
Sangga telemetri di dalam stream, simpan metrik dan log di penyimpanan yang sesuai kebutuhan masing-masing, dan kendalikan kardinalitas serta retensi.