O Auto Loader detecta arquivos novos e acompanha o progresso. Seu leitor usa format('cloudFiles'), com cloudFiles.format indicando o formato real da entrada. Um local de esquema armazena as informações do esquema; um ponto de verificação de streaming registra o progresso e o estado. Esses locais têm funções diferentes e devem permanecer estáveis para o mesmo pipeline lógico.
O gatilho availableNow processa os dados disponíveis naquele momento e para. Isso o torna útil para cargas incrementais agendadas. A simulação oferece um diretório de entrada finito e lembra a entrada processada dentro de um ponto de verificação. Ela não emula notificações da nuvem nem executores em execução contínua. Não reutilize um mesmo ponto de verificação para origens sem relação entre si. Excluí-lo pode causar reprocessamento, e uma adição posterior pode então duplicar registros. A evolução do esquema também precisa de uma política: colunas novas podem ser aceitas de forma deliberada, enquanto valores incompatíveis ainda exigem validação e um plano de recuperação.
Use o diretório de entrada incremental, não a tabela histórica completa.