- Dari
- Tomás PereiraKepala Engineering
- Kepada
- Tim platform
- Perihal
- Kegagalan buka kunci hari Jumat
Rilis 2.14.0 dari rides-api diluncurkan pukul 16:02 hari Jumat. Selama 45 menit berikutnya, sekitar sepertiga proses buka kunci gagal dengan error 502, sampai Sofia melakukan rollback ke 2.13.2. Kami tahu dari pengguna, bukan dari alarm.
Sebelum kita meluncurkan lagi tarif akhir pekan: temukan commit yang merusak pembayaran dan batalkan tanpa menulis ulang main, deploy rilis yang sudah diperbaiki agar build yang rusak tidak pernah bisa menerima trafik, dan siapkan alarm yang seharusnya memanggil kita. Setelah itu tulis laporan insiden untuk seluruh tim.
Anda punya jumlah permintaan dan jumlah 5xx dari load balancer per lima menit untuk Jumat sore, serta linimasa yang disusun Sofia.
Hasil akhir yang diharapkan: v2.14.1 sudah di-tag di main, berjalan di 3 pod siap di balik readiness probe, alarm pada jumlah 5xx yang memanggil on-call, dan laporan insiden singkat tanpa menyalahkan siapa pun.