As run keys evitam execuções duplicadas, mas o sensor continua listando e verificando tudo a cada tick. Quando a fonte é grande, guarde um cursor: uma string que o Dagster conserva para o sensor entre os ticks.
Leia-o com context.cursor (None no primeiro tick) e salve um novo com context.update_cursor("..."), ou retorne dg.SensorResult(run_requests=[...], cursor="..."). O cursor só é salvo quando o tick termina bem, então um tick que falha tenta de novo a mesma janela.
Um cursor deve ser uma string. Guarde um número com str(...) ou vários valores com json.dumps. Escolha algo que só avança: o número de arquivos em uma lista que só cresce, a última data de modificação ou o id de linha mais recente. Na interface você pode avaliar um tick com outro cursor, por exemplo para reprocessar desde o início. As run keys continuam protegendo você, então use as duas coisas.
Somente os arquivos posteriores à posição guardada são solicitados; o cursor passa para o fim da lista.