FivetranやAirbyteなどのローダーは、レコードをウェアハウスにコピーします。
dbtは、それらのレコードが届いた後に始まります。dbtはウェアハウスのデータを変換するもので、YAMLでソースを宣言しても、取り込みのコネクターになるわけではありません。Harbor Cartでは、元の注文のテーブルが、ローダーの運用担当と分析のチームの間の引き渡しの場所です。
ソースの鮮度は、loaded-atのタイムスタンプを、設定したしきい値と比べます。監視したい問いについて、到着や更新のタイミングを表すフィールドを選んでください。
イベントのビジネスのタイムスタンプは、レコードが時間どおりに届いていても古いことがあります。また、鮮度が合格しても、重複や欠けている識別子については何もわかりません。鮮度の合図はデータのテストと組み合わせ、誰が対応すべきかを決めるときは、取り込みのインシデントとSQLの欠陥を分けてください。