Un puntero guarda la dirección de otra variable. &x da la dirección de x, y una variable declarada como int *p = &x; la guarda. Escribir *p lee o escribe el int al que apunta el puntero, así que *p = 5; cambia x.
C pasa los argumentos por valor: una función recibe copias, y cambiar un parámetro solo cambia la copia. Para que una función cambie la variable de quien la llama, pasa su dirección y escribe a través del puntero. Así es como las funciones de C devuelven más de un resultado, mediante parámetros de salida, y por eso scanf necesita &.
Los errores habituales son cambiar el puntero en lugar de aquello a lo que apunta (p = q en lugar de *p = *q) y perder un valor durante un intercambio por sobrescribirlo antes de guardarlo.