O índice é o conjunto de rótulos das linhas que aparece à esquerda. Transformar uma coluna em índice cria uma busca rápida:
cust = customers.set_index("customer_id")
cust.loc["C017", "city"]
reset_index() move o índice de volta para uma coluna, que é como você transforma o resultado de um groupby em uma tabela plana. reset_index(drop=True) descarta os rótulos anteriores e renumera a partir de 0, o que você costuma querer depois de ordenar ou filtrar.
df.join(other, on="key") compara a coluna-chave de df com o índice de other. É um atalho para um merge à esquerda quando a outra tabela usa a chave como índice. Se as duas tabelas tiverem uma coluna com o mesmo nome, passe lsuffix= ou rsuffix=.
sort_index() ordena pelos rótulos, em vez de por uma coluna.
Com o id do cliente como índice, você localiza as linhas pelo id.