De: Sven Holm, responsável pelo plantão, Fernhill Garden Supply
"Os pagamentos começaram a falhar logo depois das dez desta manhã. Deixei o log de acessos desta manhã em logs/ e os deploys de hoje em deploys.txt. Por favor, não edite os originais: copie o que precisar para incident/.
Preciso saber quantos erros de servidor houve, quando começaram, qual endpoint foi afetado e qual deploy precisa ser revertido."
Sua resposta: uma pasta do incidente com as evidências, as contagens, o primeiro erro, o deploy suspeito e um resumo de quatro linhas.
Um checkout começa a falhar poucos minutos depois de um deploy, e quem está de plantão tem um log de acessos bruto e a lista de deploys do dia. Este laboratório trabalha o incidente como você faria em um servidor real: copie primeiro as evidências, selecione os erros de servidor, conte-os por minuto e por endpoint, descubra quando começaram, relacione-os a um deploy e escreva um resumo com o qual alguém possa agir.
Cada linha do log tem horário, método, caminho, status e duração. Um status de 500 ou mais é um erro de servidor; uma requisição lenta com status 2xx não é. As armadilhas são as que custam tempo às 3 da manhã: contar com uniq antes de ordenar, procurar "50" com grep e pegar durações, e confundir a primeira requisição com o primeiro erro.
Os oito passos compartilham um único espaço de trabalho, e cada verificação também protege os resultados anteriores.
Preserve as evidências antes de mudar qualquer coisa.