Dagsterのデプロイには、いくつかの構成要素があります。コードロケーションは独自のプロセスと環境で定義を読み込むので、チームはそれぞれ依存関係を固定し、別々にデプロイできます。WebサーバーはUIを提供します。デーモンはスケジュール、センサー、自動化を評価し、キューに入った実行を起動します。ランランチャーがそれぞれの実行(プロセス、コンテナ、Kubernetesのジョブ)を開始し、エグゼキューターがそのステップを実行します。
実行のキューは一度に実行される数を制限し、同時実行のプールはすべての実行をまたいで共有のリソースを使うステップの数を制限します:@dg.asset(pool="warehouse")とwarehouseのプールの上限で、バックフィルが100の接続を開くことを防げます。
オープンソースのDagsterを自分で運用する(Docker、またはHelmチャートを使ったKubernetes)か、ホスト型の製品であるDagster+をサーバーレスかハイブリッドのモードで使い、プルリクエストにはブランチデプロイを使えます。このシミュレーターはすべてを1つのプロセスで、1回に1つの実行で動かします。ここでの問題は、実際のアーキテクチャについてのものです。