正しいクエリと速いクエリは、別々の目標です。パーティションのプルーニングは、配置と絞り込みが合っていれば、読むファイルを減らせます。小さなファイルが多すぎると、オーバーヘッドが増えます。OPTIMIZEはファイルを圧縮し、ZORDERは、対応する配置で、関係する値を近くに置けます。Liquid Clusteringと予測最適化は、配置の管理の別の選択肢です。対応するテーブルの種類と運用の動作を確かめてください。
このブラウザーは、行をローカルに保持します。そのOPTIMIZE、ZORDER、VACUUMの出力はシミュレーションと明示されているので、その実行時間は本番での高速化の根拠にはなりません。実際のワークロードでは、変更の前後で入力のサイズとSparkのステージの指標を比べてください。シャッフル、偏り、スピルは、それぞれ別のボトルネックを表します。シャッフルのパーティション、ブロードキャストのしきい値、メモリなど、根拠のある設定を一度に1つずつ調整し、比べられる基準に対して測り直してください。コンピューティングを増やしても、誤った結合や重複したビジネスの粒度は直りません。