groupBy escolhe as chaves do resultado e agg define as medidas. Importe as funções de agregação de pyspark.sql.functions para poder combinar várias medidas em um DataFrame agrupado. Os aliases deixam o resultado legível e evitam referências posteriores a nomes de expressão gerados.
A Aster Supply precisa de totais de pedidos, contagens de clientes e medidas de completude. São agregações diferentes. count(lit(1)) conta linhas, enquanto count(col('amount')) ignora os valores ausentes. countDistinct conta as chaves conhecidas únicas, e avg divide pelo número de entradas conhecidas. Se você agrupar por customer_id quando a solicitação pede region, os números podem parecer razoáveis, mas respondem a outra pergunta. Tenha o significado de cada medida ao lado da expressão dela enquanto trabalha. Filtre as linhas de origem antes de agrupar quando a regra de negócio as excluir; filtre as medidas agrupadas depois, quando o limite descrever um grupo.
Some os valores para obter um total; avg produz o valor médio por pedido.