Um DataFrame do Spark é a descrição de um cálculo com formato de tabela. Ler spark.table('main.bronze.orders') não copia todos os registros dela para uma lista de Python. Transformações como select e filter montam um plano. Ações, como show, count e collect, pedem ao Spark que execute esse plano.
Use display(df) para a grade de resultados do espaço de trabalho. df.show() imprime uma tabela de texto, o que é útil para depurar. Chamar show em uma coluna gera erro, porque uma coluna descreve uma expressão e não consegue exibir uma tabela. Comece selecionando algumas colunas nomeadas em vez de coletar toda a fonte. Neste navegador, a API conhecida gera SQL para um mecanismo local. Aqui você pratica as operações e seus resultados; a execução distribuída e a capacidade de produção cabem a um ambiente Spark real.
Selecione amount como a segunda coluna, não status.