Alarm harus mengidentifikasi kondisi yang dapat ditindaklanjuti oleh operator. Di Fenwick Delivery, jumlah request sebuah fungsi tampak sehat meskipun pekerjaan dispatch di hilir terus menumpuk. Usia antrean dan sinyal penyelesaian end-to-end menjawab pertanyaan yang berbeda dari jumlah pemanggilan.
Mulailah dari aksi pengguna, lalu temukan sinyal yang membedakan mode kegagalannya. Buat dimensi dan jendela waktu tetap eksplisit. Data yang tidak ada tidak otomatis bernilai nol, dan rata-rata yang rendah dapat menyembunyikan tail yang buruk atau satu segmen pelanggan yang terdampak. Runbook memerlukan langkah diagnostik yang aman, wewenang yang diperlukan untuk bertindak, dan cara untuk memverifikasi pemulihan. Tugas-tugas ini mengonfigurasi resource pemantauan yang dimodelkan dan memeriksa bukti operasional. Penyimpanan metrik lokal tidak menyerap telemetri produksi, menjalankan aksi alarm, mengirim notifikasi, atau membuktikan bahwa runbook aman terhadap layanan yang live.
Pantau aksi bisnisnya dan buat pemulihan dapat diverifikasi.