Um ponteiro guarda o endereço de outra variável. &x dá o endereço de x, e uma variável declarada como int *p = &x; o guarda. Escrever *p lê ou escreve o int para o qual o ponteiro aponta, então *p = 5; altera x.
C passa os argumentos por valor: uma função recebe cópias, e alterar um parâmetro altera apenas a cópia. Para que uma função altere a variável de quem a chama, passe o endereço dela e escreva através do ponteiro. É assim que as funções de C devolvem mais de um resultado, por meio de parâmetros de saída, e é por isso que scanf precisa de &.
Os erros mais comuns são alterar o ponteiro em vez daquilo para o que ele aponta (p = q em vez de *p = *q) e perder um valor durante uma troca por tê-lo sobrescrito antes de guardá-lo.