実行キーで重複した実行は止まりますが、センサーはティックのたびにすべてを挙げて確認し続けます。ソースが大きいときはカーソルを保持してください:Dagsterがティックの間にセンサーのために保存する文字列です。
context.cursor(最初のティックではNone)で読み、context.update_cursor("...")で新しいものを保存するか、dg.SensorResult(run_requests=[...], cursor="...")を返してください。カーソルはティックが成功したときにだけ保存されるので、失敗したティックは同じ範囲を再試行します。
カーソルは文字列である必要があります。数値はstr(...)で、複数の値はjson.dumpsで保存してください。前にしか進まないものを選んでください:追加のみのリストのファイルの数、最新の更新時刻、最新の行のidです。UIでは、たとえば最初から再処理するために、別のカーソルでティックを評価できます。その場合も実行キーが守ってくれるので、両方を残してください。