groupBy menentukan kunci hasil Anda, dan agg mendefinisikan ukurannya. Impor fungsi agregat dari pyspark.sql.functions agar Anda dapat menggabungkan beberapa ukuran dalam satu DataFrame yang dikelompokkan. Alias membuat hasil mudah dibaca dan menghindari referensi lanjutan ke nama ekspresi yang dihasilkan otomatis.
Aster Supply membutuhkan total pesanan, jumlah pelanggan, dan ukuran kelengkapan. Semuanya adalah agregasi yang berbeda. count(lit(1)) menghitung baris, sedangkan count(col('amount')) mengabaikan nominal yang hilang. countDistinct menghitung kunci unik yang diketahui, dan avg membagi dengan jumlah input yang diketahui. Jika Anda mengelompokkan berdasarkan customer_id padahal permintaannya region, angkanya mungkin tampak masuk akal tetapi menjawab pertanyaan lain. Catat makna setiap ukuran di samping ekspresinya selama Anda bekerja. Filter baris sumber sebelum pengelompokan ketika aturan bisnis mengecualikannya; filter ukuran yang sudah dikelompokkan setelahnya ketika ambang batas menggambarkan sebuah grup.
Jumlahkan nominal untuk mendapatkan total; avg menghasilkan rata-rata nominal pesanan.