Dari: Mei Lin, QA lead, Fernhill Garden Supply
"Repositori checkout kami punya satu tes yang gagal (merah) beberapa kali seminggu, lalu hijau lagi ketika ada yang menjalankannya ulang. Orang-orang sudah terbiasa menjalankan ulang semuanya. Saya mengekspor eksekusi terakhir dari CI: commit, tes, hasil, dan waktu UTC.
Tes mana yang flaky, mana yang benar-benar gagal, dan apa yang harus kami ubah? Saya ingin rekomendasi yang bisa saya tulis di tiket."
Jawaban Anda: daftar tes yang flaky dan tes yang gagal, pola di balik tes yang flaky, dan perbaikannya.
Tes yang flaky bisa lulus dan gagal pada kode yang sama. Tim mulai mengabaikannya, lalu kegagalan yang sungguhan bersembunyi di baliknya. Studi kasus ini menelusuri riwayat CI seperti yang akan Anda lakukan di tempat kerja: tentukan apa yang dihitung sebagai flaky, cari pola kapan tes itu gagal, pisahkan dari tes yang memang rusak, dan rekomendasikan perbaikan.
Setiap langkah menambah fungsi yang sama, sehingga kode Anda sendiri terbawa ke langkah berikutnya. Setiap eksekusi adalah baris teks berisi commit, tes, hasil, dan waktu UTC. Riwayat kedua pada tes memiliki satu tes flaky tanpa pola waktu, jadi aturan yang hanya berlaku pada riwayat pertama tidak akan lolos.
Jam adalah karakter ke-11 dan ke-12 dari timestamp.