Uma implantação do Dagster tem algumas peças. As code locations carregam suas definições em processos e ambientes próprios, de modo que cada equipe fixa as próprias dependências e faz o deploy de forma independente. O webserver serve a interface. O daemon avalia schedules, sensores e automação, e dispara as execuções que estão na fila. Um run launcher inicia cada execução (um processo, um contêiner, um job do Kubernetes) e um executor executa os passos dela.
A fila de execuções limita quantas execuções rodam ao mesmo tempo; os pools de concorrência limitam quantos passos usam um recurso compartilhado entre todas as execuções: @dg.asset(pool="warehouse") com um limite no pool warehouse impede que um backfill abra cem conexões.
Você pode executar o Dagster de código aberto por conta própria (com Docker, ou no Kubernetes com o chart do Helm) ou usar o Dagster+, o produto hospedado, no modo serverless ou híbrido, com branch deployments para pull requests. Este simulador executa tudo em um único processo, uma execução por vez; as perguntas desta lição tratam da arquitetura real.
Os passos do pool warehouse compartilham um único limite de concorrência entre as execuções.