Auto Loader menemukan file baru dan melacak progres. Reader-nya memakai format('cloudFiles') dengan cloudFiles.format yang menyebutkan format input sebenarnya. Lokasi skema menyimpan informasi skema; checkpoint streaming mencatat progres dan status. Kedua lokasi itu punya fungsi berbeda dan harus tetap stabil untuk pipeline logis yang sama.
Trigger availableNow memproses data yang tersedia saat ini lalu berhenti. Karena itu, trigger ini berguna untuk pemuatan inkremental terjadwal. Simulasi menyediakan direktori landing yang terbatas dan mengingat input yang sudah diproses di dalam sebuah checkpoint. Simulasi ini tidak meniru notifikasi cloud atau executor yang berjalan terus-menerus. Jangan gunakan satu checkpoint untuk sumber yang tidak berkaitan. Menghapusnya dapat menyebabkan pemrosesan ulang, dan append di hilir kemudian bisa menggandakan record. Evolusi skema juga memerlukan kebijakan: kolom baru dapat diterima dengan sengaja, sedangkan nilai yang tidak kompatibel tetap memerlukan validasi dan rencana pemulihan.
Gunakan direktori landing inkremental, bukan seluruh tabel historis.