Algumas chaves de partição só são conhecidas em tempo de execução: uma por arquivo enviado, por cliente, por experimento. dg.DynamicPartitionsDefinition(name="depot_files") começa vazia; as partições são adicionadas à instância do Dagster conforme aparecem.
O padrão habitual é um sensor que encontra chaves novas e retorna um dg.SensorResult com dynamic_partitions_requests=[depot_files.build_add_request(new)] e um dg.RunRequest(partition_key=name) para cada chave nova. O Dagster adiciona primeiro as partições e depois dispara as execuções, então cada arquivo tem a própria partição, o próprio histórico e o próprio botão para repeti-lo.
Dentro do asset, context.partition_key é o nome do arquivo. Para ver o que existe, chame context.instance.get_dynamic_partitions("depot_files"). Pedir uma partição que nunca foi adicionada faz o tick falhar, e é por isso que a solicitação de adição e as solicitações de execução viajam juntas.
Adicione uma partição para cada arquivo novo e execute-a, em um único tick.