INFORMATION_SCHEMAは、メタデータをクエリできるビューとして提供します。shop.INFORMATION_SCHEMA.TABLESは、データセットのテーブルとビューを表します。shop.INFORMATION_SCHEMA.COLUMNSは、名前、データ型、物理的な設計の印を含めて、その列を表します。範囲が重要です:データセット単位のビューはそのデータセットを表し、BigQueryのリージョン単位のビューには、対応するリージョンの範囲と権限が必要です。
パイプラインを実行する前に、メタデータを使ってデータウェアハウスの取り決めを確かめてください。必須の列が欠けていたり、型が変わっていたり、パーティションのフィールドがレポートの条件と合わなくなっていたりすることがあります。名前を明示的に確かめ、宣言された列の順序が必要な場合はordinal_positionで並べ替えてください。
シミュレーターは、BigQueryのメタデータのビューのローカルな一部を提供するもので、本番のアカウントの権限やリージョンの一覧ではありません。クエリの形を練習し、返されたフィールドを解釈してください。カタログのクエリでスキーマのずれは見つけられますが、元のビジネスのデータが完全かどうかはわかりません。