分析の前に、データが信頼できるかを確かめてください。各確認は、件数を答えとする問いです:
- 重複:
df.duplicated().sum()は前の行を完全に繰り返す行を数え、df["id"].duplicated().sum()は繰り返されたキーを数えます。
- 参照:注文のすべての
member_idは、会員のテーブルにある必要があります。~orders["member_id"].isin(members["member_id"])で、ないもの(よく孤立したレコードと呼ばれます)が見つかります。
- 範囲と順序:0より大きい金額、期間内の日付、会員の入会前の注文がないこと。
- 必須のフィールド:列ごとの
isna().sum()。
読む人がすべての問題を一度に見られるよう、件数を1つのテーブルにまとめ、それぞれについて、直す、除く、残して注記する、のどれにするかを決めてください。新しいファイルごとに実行するコードでは、assert orders["order_id"].is_unique, "repeated order ids"で、問題のあるファイルがレポートに届く前にスクリプトを止められます。