As funções de pyspark.sql.functions constroem expressões de coluna. Importe-as como F para que F.col('amount') se distinga à primeira vista de uma string de Python. Uma string sozinha é um valor de Python; F.lit transforma uma constante em uma expressão de coluna. withColumn devolve um novo DataFrame com a expressão indicada adicionada ou substituída.
Os campos status e region da Aster Supply precisam de texto consistente para os relatórios. Use trim para remover os espaços das pontas e upper ou lower para normalizar maiúsculas e minúsculas quando a regra de negócio permitir. Uma expressão when escolhe valores linha a linha. Termine-a com otherwise quando as linhas sem correspondência precisarem de um rótulo explícito; sem ele, essas linhas ficam NULL. Essas são transformações, então mostre o DataFrame final para ver o efeito delas. Renomear uma coluna muda o nome dela, não os valores.
Renomeie a coluna amount mantendo os valores dela.