フォーム、スプレッドシート、Webページからのテキストが、きれいなことはめったにありません。いくつかの道具で、そのほとんどを直せます。
" ".join(s.split())は、スペース、タブ、改行、ノーブレークスペース(\xa0。Webページから貼り付けたテキストによくあります)のどの連続も1つのスペースにまとめ、両端を整えます。
.casefold()は比較のために作られた.lower()です:大文字小文字が問題にならないときは、両側に使ってください。
s.translate(str.maketrans("", "", string.punctuation))は、1回ですべての句読点を削除します。
unicodedata.normalize("NFKD", s)はéをeとアクセント記号に分けます。記号を除けば普通の文字になるので、"José"と"Jose"が一致します。
.zfill(5)はコードの先頭を0で埋め、.startswith(("A", "B"))はタプルを受け取り、.partition(":")は一度だけ分けて(前、区切り、後)にします。
コピーを新しい変数や列にきれいにし、元のものは残してください:後で変更を説明するのに必要になるかもしれません。