差出人: Mei Lin(Fernhill Garden Supply、QAリード)
「チェックアウトのリポジトリーに、週に数回赤になり、誰かが再実行すると緑になるテストがあります。みんな習慣ですべてを再実行するようになってしまいました。CIから直近の実行結果をエクスポートしました。コミット、テスト、結果、UTCの時刻です。
どのテストがフレーキーで、どれが本当に失敗しているのか、そして何を変えるべきでしょうか。チケットに書ける推奨事項がほしいです。」
回答: フレーキーなテストと失敗しているテストの一覧、フレーキーなテストの背後にあるパターン、そして修正。
フレーキーなテストは、同じコードで成功したり失敗したりします。チームはそれを無視するようになり、やがて本当の失敗がその陰に隠れます。このケーススタディでは、実際の業務と同じようにCIの履歴を調べます。何をフレーキーとみなすかを決め、いつ失敗するかのパターンを探し、単に壊れているテストと区別し、修正を推奨します。
各ステップで同じ関数に追加していくため、自分のコードが引き継がれます。実行は、コミット、テスト、結果、UTCの時刻からなるテキストの行です。テストの2つ目の履歴には時刻のパターンのないフレーキーなテストがあるため、最初の履歴でしか動かないルールは合格しません。