Query yang benar dan query yang cepat adalah dua tujuan yang berbeda. Partition pruning dapat mengurangi jumlah file yang dibaca bila tata letak dan filternya sesuai. Terlalu banyak file kecil menambah overhead. OPTIMIZE memadatkan file, dan ZORDER dapat menempatkan nilai yang saling terkait berdekatan pada tata letak yang didukung. Liquid Clustering dan predictive optimization menawarkan pilihan pengelolaan tata letak lainnya; tinjau tipe tabel yang didukung dan perilaku operasionalnya.
Browser ini menyimpan baris secara lokal. Output OPTIMIZE, ZORDER, dan VACUUM-nya diberi label simulasi, sehingga waktu eksekusinya bukan bukti adanya percepatan di produksi. Pada beban kerja nyata, bandingkan ukuran input dan metrik stage Spark sebelum dan sesudah perubahan. Shuffle, skew, dan spill menggambarkan bottleneck yang berbeda. Ubah satu pengaturan yang beralasan pada satu waktu, termasuk partisi shuffle, ambang batas broadcast, atau memori, lalu ukur ulang terhadap baseline yang sebanding. Menambah komputasi tidak memperbaiki join yang salah atau granularitas bisnis yang terduplikasi.
Jalankan perintah kompaksi agar riwayat mencatat operasi OPTIMIZE.