De: Mei Lin, líder de QA, Fernhill Garden Supply
"Nosso repositório de checkout tem um teste que fica vermelho algumas vezes por semana e verde quando alguém o executa de novo. As pessoas começaram a reexecutar tudo por hábito. Exportei as últimas execuções da CI: commit, teste, resultado e horário UTC.
Quais testes são instáveis, quais estão realmente falhando e o que devemos mudar? Quero uma recomendação que eu possa colocar em um ticket."
Sua resposta: a lista de testes instáveis e de testes que falham, o padrão por trás do instável e a correção.
Um teste instável passa e falha com o mesmo código. As equipes começam a ignorá-lo, e aí uma falha real se esconde atrás dele. Este estudo de caso percorre um histórico de CI como você faria no trabalho: decida o que conta como instável, procure um padrão em quando ele falha, separe-o dos testes que estão simplesmente quebrados e recomende uma correção.
Cada passo amplia a mesma função, então o seu próprio código segue adiante. As execuções são linhas de texto com commit, teste, resultado e horário UTC. O segundo histórico dos testes tem um teste instável sem nenhum padrão de horário, então uma regra que só funcione com o primeiro histórico não vai passar.
A hora corresponde aos caracteres 11 e 12 do timestamp.