De: Mei Lin, responsable de QA, Fernhill Garden Supply
"Nuestro repositorio de checkout tiene una prueba que se pone en rojo varias veces por semana y en verde cuando alguien la vuelve a lanzar. La gente ha empezado a relanzarlo todo por costumbre. He exportado las últimas ejecuciones de la CI: commit, prueba, resultado y hora UTC.
¿Qué pruebas son inestables, cuáles fallan de verdad y qué deberíamos cambiar? Quiero una recomendación que pueda poner en un ticket."
Tu respuesta: la lista de pruebas inestables y de pruebas que fallan, el patrón detrás de la inestable y la corrección.
Una prueba inestable pasa y falla con el mismo código. Los equipos empiezan a ignorarla, y entonces un fallo real se esconde detrás de ella. Este caso práctico recorre un historial de CI como lo harías en el trabajo: decide qué cuenta como inestable, busca un patrón en cuándo falla, sepárala de las pruebas que simplemente están rotas y recomienda una corrección.
Cada paso amplía la misma función, así que tu propio código sigue adelante. Las ejecuciones son líneas de texto con el commit, la prueba, el resultado y la hora UTC. El segundo historial de las pruebas tiene una prueba inestable sin ningún patrón horario, así que una regla que solo funcione con el primer historial no pasará.
La hora son los caracteres 11 y 12 de la marca de tiempo.