El primer pipeline de un equipo de datos suele ser un par de scripts con hora fija: cargar los pedidos a las 6:00, montar el informe a las 6:30 y confiar en que lo primero haya terminado. Un orquestador sustituye esa confianza. Sabe que el informe depende de los pedidos, los ejecuta en ese orden, reintenta lo que falla, guarda un registro de cada ejecución y te avisa cuando algo llega tarde o se rompe.
Dagster organiza ese trabajo en torno a assets: las tablas, archivos y modelos que produce tu pipeline. Declaras cada asset como una función de Python, Dagster lee las dependencias entre ellos y el grafo de assets muestra el pipeline completo. Materializar un asset es ejecutar su función y guardar lo que devuelve.
Esta área de trabajo ejecuta en tu navegador una simulación de Dagster 1.13: un editor de Python a la izquierda y, a la derecha, el grafo de assets, las ejecuciones, los jobs, la automatización y una terminal con la línea de comandos dg.
Tres assets de Juniper & Pine, una tienda ficticia. Cada parámetro nombra el asset que lee, así que Dagster los ejecuta de izquierda a derecha.