集計のスコアは、間違いの分布を隠してしまいます。公開によって通常の答えが改善しても、顧客のデータを守る1つのケースで不合格になることがあります。必須のゲートは合格したケースの件数とは分けておき、空の評価を安全性の根拠と解釈しないでください。
case.evaluationについて、total、passed、eligibleを返します。passedは、passedがtrueの行を数えます。eligibleには、空でないセットであることと、すべての必須の行が合格していることが必要です。集計のスコアが高くても、必須の項目の不合格は覆せません。
ノートブックは、作成したPythonを、独自のローカルのモックに対して実行します。見えている値をコピーするのではなく、提示されたcaseを使ってください。隠れたチェックでは、ID、リビジョン、境界の入力を変えます。プロバイダーのエンドポイントや外部のツールには接続しません。