- De
- Tomás Pereiradiretor de engenharia
- Para
- Equipe de plataforma
- Assunto
- Os desbloqueios que falharam na sexta
A versão 2.14.0 do rides-api foi ao ar às 16:02 da sexta. Nos 45 minutos seguintes, cerca de um terço dos desbloqueios falhou com um 502, até que a Sofia fez o rollback para a 2.13.2. Ficamos sabendo pelos usuários, não por um alarme.
Antes de lançarmos de novo as tarifas de fim de semana: encontre o commit que quebrou os pagamentos e desfaça-o sem reescrever a main, faça o deploy da versão corrigida de forma que uma build quebrada nunca possa receber tráfego e configure o alarme que nos teria avisado. Depois escreva o relatório do incidente para toda a equipe.
Você tem as requisições e as contagens de 5xx do balanceador de carga a cada cinco minutos na tarde de sexta, e a linha do tempo que a Sofia montou.
Resultado esperado: v2.14.1 com tag na main, rodando em 3 pods prontos atrás de uma readiness probe, um alarme sobre a contagem de 5xx que acione o plantão e um relatório curto do incidente, sem culpados.