Algunas claves de partición solo se conocen en tiempo de ejecución: una por archivo subido, por cliente, por experimento. dg.DynamicPartitionsDefinition(name="depot_files") empieza vacía; las particiones se añaden a la instancia de Dagster según aparecen.
El patrón habitual es un sensor que encuentra claves nuevas y devuelve un dg.SensorResult con dynamic_partitions_requests=[depot_files.build_add_request(new)] y un dg.RunRequest(partition_key=name) por cada clave nueva. Dagster añade primero las particiones y después lanza las ejecuciones, así que cada archivo tiene su propia partición, su historial y su botón para repetirlo.
Dentro del asset, context.partition_key es el nombre del archivo. Para ver qué existe, llama a context.instance.get_dynamic_partitions("depot_files"). Pedir una partición que nunca se añadió hace fallar el tick, y por eso la solicitud de alta y las de ejecución viajan juntas.
Añade una partición por cada archivo nuevo y ejecútala, en un solo tick.