ポインターは、別の変数のアドレスを保持します。&xはxのアドレスを返し、int *p = &x;と宣言した変数がそれを保持します。*pと書くと、ポインターが指すintを読み書きできるため、*p = 5;でxが変わります。
Cは引数を値で渡します。関数はコピーを受け取り、パラメーターを変更してもコピーが変わるだけです。関数に呼び出し元の変数を変更させるには、そのアドレスを渡し、ポインターを通じて書き込みます。Cの関数が出力パラメーターを通じて複数の結果を返すのはこの仕組みによるもので、scanfに&が必要なのもこのためです。
よくある誤りは、ポインターが指すものではなくポインター自体を変えてしまうこと(*p = *qではなくp = q)と、入れ替えの途中で先に上書きしてしまい値を失うことです。