groupByは結果のキーを選び、aggは尺度を定義します。1つのグループ化したDataFrameで複数の尺度を組み合わせられるよう、pyspark.sql.functionsから集計関数をインポートしてください。別名を付けると結果が読みやすくなり、下流で自動生成された式の名前を参照せずに済みます。
Aster Supplyは、注文の合計、顧客の数、そろい具合の尺度を必要としています。それらは別々の集計です。count(lit(1))は行を数え、count(col('amount'))は欠けている金額を無視します。countDistinctは一意のわかっているキーを数え、avgはわかっている入力の数で割ります。地域が求められているのにcustomer_idでグループ化すると、数値はもっともらしく見えても、別の問いに答えることになります。作業中は、各尺度の意味をその式の横に置いておいてください。ビジネスのルールがソースの行を除く場合はグループ化の前に絞り込み、しきい値がグループを表す場合は、後でグループ化した尺度を絞り込んでください。