Auto Loader detecta archivos nuevos y lleva el registro del progreso. Su lector usa format('cloudFiles'), con cloudFiles.format indicando el formato real de entrada. Una ubicación de esquema guarda la información del esquema; un punto de control de streaming registra el progreso y el estado. Esas ubicaciones cumplen funciones distintas y deben mantenerse estables para la misma canalización lógica.
El desencadenador availableNow procesa los datos disponibles en ese momento y se detiene. Eso lo hace útil para cargas incrementales programadas. La simulación ofrece un directorio de entrada finito y recuerda la entrada procesada dentro de un punto de control. No emula notificaciones de la nube ni ejecutores en marcha continua. No reutilices un mismo punto de control para orígenes que no tienen relación. Borrarlo puede provocar que se vuelvan a procesar datos, y una adición posterior puede duplicar registros. La evolución del esquema también necesita una política: las columnas nuevas se pueden aceptar de forma deliberada, mientras que los valores incompatibles siguen necesitando validación y un plan de recuperación.
Usa el directorio de entrada incremental, no la tabla histórica completa.