SparkのDataFrameは、表の形をした計算の記述です。spark.table('main.bronze.orders')を読んでも、そのすべてのレコードがPythonのリストにコピーされるわけではありません。selectやfilterなどの変換は、計画を作ります。show、count、collectなどのアクションは、Sparkにその計画の実行を求めます。
ワークスペースの結果のグリッドには、display(df)を使ってください。df.show()はテキストの表を出力するので、デバッグの間に便利です。列は1つの式を表すもので表を表示できないため、列に対してshowを呼び出すとエラーになります。フィード全体を集めるのではなく、名前を付けたいくつかの列を選択することから始めてください。このブラウザーでは、おなじみのAPIがローカルのエンジン向けのSQLを作ります。ここでは操作とその結果を練習します。分散した実行と本番の処理能力は、実際のSparkの環境に属するものです。