Una herramienta de carga como Fivetran o Airbyte copia registros en un almacén de datos.
dbt empieza cuando esos registros ya han llegado. Transforma datos del almacén; no se convierte en un conector de ingesta porque un origen esté declarado en YAML. En Harbor Cart, la tabla de pedidos sin procesar es el punto de entrega entre quien opera la carga y el equipo de análisis.
La actualidad del origen compara una marca de tiempo de carga con un umbral configurado. Elige un campo que represente el momento de llegada o de actualización que necesitas vigilar.
La marca de tiempo de negocio de un evento puede ser antigua aunque su registro haya llegado a tiempo. Además, superar la comprobación de actualidad no dice nada de duplicados ni de identificadores ausentes. Combina la señal de actualidad con pruebas de datos y separa los incidentes de ingesta de los defectos de SQL cuando decidas quién debe responder.
Un patrón resuelto con registros ficticios. Adapta el nombre del modelo y la regla de negocio a cada tarea.