O primeiro pipeline de uma equipe de dados costuma ser alguns scripts agendados: carregar os pedidos às 6:00, montar o relatório às 6:30 e torcer para que o primeiro tenha terminado. Um orquestrador substitui essa esperança. Ele sabe que o relatório depende dos pedidos, executa os dois nessa ordem, tenta de novo o que falha, guarda um registro de cada execução e avisa quando algo está atrasado ou quebrado.
O Dagster organiza esse trabalho em torno de assets: as tabelas, os arquivos e os modelos que o seu pipeline produz. Você declara cada asset como uma função Python, o Dagster lê as dependências entre eles e o grafo de assets mostra o pipeline completo. Materializar um asset é executar sua função e guardar o que ela devolve.
Este espaço de trabalho executa no seu navegador uma simulação do Dagster 1.13: um editor de Python à esquerda e, à direita, o grafo de assets, as execuções, os jobs, a automação e um terminal com a linha de comando dg.
Três assets da Juniper & Pine, uma loja fictícia. Cada parâmetro nomeia o asset que lê, então o Dagster os executa da esquerda para a direita.