groupBy elige las claves de tu resultado y agg define las medidas. Importa las funciones de agregado de pyspark.sql.functions para poder combinar varias medidas en un DataFrame agrupado. Los alias hacen legible el resultado y evitan referencias posteriores a nombres de expresión generados.
Aster Supply necesita totales de pedidos, recuentos de clientes y medidas de completitud. Son agregaciones distintas. count(lit(1)) cuenta filas, mientras que count(col('amount')) ignora los importes que faltan. countDistinct cuenta las claves conocidas únicas, y avg divide entre el número de entradas conocidas. Si agrupas por customer_id cuando la solicitud pide region, los números pueden parecer razonables pero responden a otra pregunta. Ten presente el significado de cada medida junto a su expresión mientras trabajas. Filtra las filas de origen antes de agrupar cuando la regla de negocio las excluya; filtra las medidas agrupadas después cuando el umbral describa un grupo.
Suma los importes para obtener un total; avg produce un importe medio por pedido.