どのレポートも、データについての前提の上に成り立っています:IDは一意である、すべての注文明細には注文がある、価格は正の値である、メールアドレスは入力されている、などです。データ品質のチェックでは、それぞれの前提を、それに違反する行を返すクエリに変えます。結果が空であれば、チェックは合格です。
すべてのテーブルに行う4つのチェック:
- 一意のキー:
GROUP BY key HAVING COUNT(*) > 1。
- 孤立したレコードがない:親が存在しない子の行(
LEFT JOIN ... WHERE parent IS NULL、またはNOT EXISTS)。
- 有効な値:範囲と許可されたリスト(
WHERE price <= 0 OR cost > price)。
- 完全性:入力されているべき列に占めるNULLの割合。
dbtなどのツールは、このようなチェックをデータの読み込みごとに実行し、1つでも失敗するとパイプラインを止めます。通常のクエリとして書いておけば、どこでも使えます。