Un despliegue de Dagster tiene unas cuantas piezas. Las code locations cargan tus definiciones en sus propios procesos y entornos, así que cada equipo fija sus dependencias y despliega por su cuenta. El webserver sirve la interfaz. El daemon evalúa schedules, sensores y automatización, y lanza las ejecuciones en cola. Un run launcher arranca cada ejecución (un proceso, un contenedor, un job de Kubernetes) y un executor ejecuta sus pasos.
La cola de ejecuciones limita cuántas ejecuciones corren a la vez; los pools de concurrencia limitan cuántos pasos usan un recurso compartido entre todas las ejecuciones: @dg.asset(pool="warehouse") con un límite en el pool warehouse evita que un backfill abra cien conexiones.
Puedes gestionar tú mismo Dagster de código abierto (con Docker, o en Kubernetes con el chart de Helm) o usar Dagster+, el producto alojado, en modo serverless o híbrido, con branch deployments para las pull requests. Este simulador lo ejecuta todo en un proceso, de ejecución en ejecución; las preguntas de esta lección tratan de la arquitectura real.
Los pasos del pool warehouse comparten un único límite de concurrencia entre ejecuciones.