公平な比較では、ケースのIDを見えるようにしておきます。除外された不合格のケースは修正されたケースではなく、新しく追加された例で分母が黙って変わるべきではありません。プロンプトの改訂でベースラインを置き換えるかどうかを決める前に、修正、新しい不合格、追加、削除を分けてください。
共通のケースのIDで、case.baselineとcase.candidateを比べます。並べ替えたfixedのID、new_failures、added、removedを返します。一方のバージョンにないケースは、修正の根拠ではありません。
ノートブックは、作成したPythonを、独自のローカルのモックに対して実行します。見えている値をコピーするのではなく、提示されたcaseを使ってください。隠れたチェックでは、ID、リビジョン、境界の入力を変えます。プロバイダーのエンドポイントや外部のツールには接続しません。