Run key mencegah run duplikat, tetapi sensor tetap mendaftar dan memeriksa semuanya di setiap tick. Ketika sumber data besar, simpan sebuah cursor: string yang disimpan Dagster untuk sensor di antara tick.
Baca dengan context.cursor (None pada tick pertama) dan simpan yang baru dengan context.update_cursor("..."), atau kembalikan dg.SensorResult(run_requests=[...], cursor="..."). Cursor hanya disimpan ketika tick berhasil, jadi tick yang gagal akan mencoba lagi pada rentang yang sama.
Cursor harus berupa string. Simpan angka dengan str(...), atau beberapa nilai dengan json.dumps. Pilih sesuatu yang hanya bergerak maju: jumlah file dalam daftar yang hanya bertambah, waktu modifikasi terbaru, atau id baris terbaru. Di UI Anda bisa mengevaluasi tick dengan cursor yang berbeda, misalnya untuk memproses ulang dari awal. Saat itu run key tetap melindungi Anda, jadi pakai keduanya.
Hanya file setelah posisi tersimpan yang diminta; cursor berpindah ke akhir daftar.