A junção de DataFrames recebe outro DataFrame, uma condição ou chave compartilhada e um tipo de junção. Uma junção à esquerda mantém os registros da esquerda; left_semi e left_anti verificam se existe ou não uma correspondência sem acrescentar campos do lado direito. Uma junção cruzada produz todas as combinações, o que serve para uma pequena grade de planejamento e é caro com entradas grandes.
Antes de juntar pedidos com clientes, renomeie o id do cliente para customer_id e selecione apenas os campos de cliente de que você precisa. Assim você evita referências ambíguas a id depois. Uma união empilha linhas em vez de relacionar chaves. union alinha por posição, enquanto unionByName alinha por nome; nenhuma das duas remove duplicatas automaticamente. Os exemplos usam o alinhamento por nome quando as colunas de origem estão em posições diferentes. O Spark distribuído pode fazer shuffle dos dados para executar uma junção. Este simulador local verifica as linhas, não um tempo de execução de produção.
Use uma junção à esquerda para que o pedido sem chave de cliente continue no resultado.