Uma consulta correta e uma consulta rápida são objetivos diferentes. A poda de partições pode reduzir os arquivos lidos quando o layout e os filtros se encaixam. Arquivos pequenos em excesso aumentam a sobrecarga. OPTIMIZE compacta arquivos, e ZORDER pode colocar valores relacionados próximos uns dos outros nos layouts compatíveis. Liquid Clustering e a otimização preditiva oferecem outras opções de gerenciamento de layout; verifique os tipos de tabela compatíveis e o comportamento operacional de cada uma.
Este navegador guarda as linhas localmente. Suas saídas de OPTIMIZE, ZORDER e VACUUM são marcadas como simulações, então o tempo de execução delas não comprova nenhum ganho de velocidade em produção. Em uma carga de trabalho real, compare o tamanho da entrada e as métricas dos estágios do Spark antes e depois de uma mudança. Shuffle, distorção e spill para disco descrevem gargalos diferentes. Ajuste uma configuração justificada por vez, como as partições de shuffle, os limites de broadcast ou a memória, e meça de novo em comparação com uma linha de base comparável. Mais capacidade de computação não corrige um join incorreto nem uma granularidade de negócio duplicada.
Execute o comando de compactação para que o histórico registre uma operação OPTIMIZE.