公開の判断では、それを支える比較を残しておく必要があります。合格の合計が増えていても、新しい重大な回帰が同時に起きていることがあります。必須のゲートで不合格になった場合や、合意した比較で新しい不合格が出た場合はベースラインを残し、再挑戦を正当化できる根拠を記録してください。
case.release.candidate_safetyがtrueで、candidate_passedがbaseline_passed以上で、new_failuresが空の場合にだけ、promoteを返します。それ以外の場合は、retain-baselineを返します。集計の件数が改善しても、新しい不合格は覆せません。
ノートブックは、作成したPythonを、独自のローカルのモックに対して実行します。見えている値をコピーするのではなく、提示されたcaseを使ってください。隠れたチェックでは、ID、リビジョン、境界の入力を変えます。プロバイダーのエンドポイントや外部のツールには接続しません。