Las run keys evitan ejecuciones duplicadas, pero el sensor sigue listando y revisando todo en cada tick. Cuando la fuente es grande, guarda un cursor: una cadena que Dagster conserva para el sensor entre ticks.
Léelo con context.cursor (None en el primer tick) y guarda uno nuevo con context.update_cursor("..."), o devuelve dg.SensorResult(run_requests=[...], cursor="..."). El cursor solo se guarda cuando el tick termina bien, así que un tick que falla vuelve a intentar la misma ventana.
Un cursor debe ser una cadena. Guarda un número con str(...) o varios valores con json.dumps. Elige algo que solo avance: el número de archivos en una lista que solo crece, la última hora de modificación o el id de fila más reciente. En la interfaz puedes evaluar un tick con otro cursor, por ejemplo para reprocesar desde el principio. Las run keys te siguen protegiendo, así que usa ambas cosas.
Solo se piden los archivos posteriores a la posición guardada; el cursor pasa al final de la lista.