大きなファイルは、コンピューターのメモリをいっぱいにすることがあります。df.memory_usage(deep=True)は、列ごとのバイト数を表示します。deep=Trueがないと、テキストの列はポインターとしてしか数えられず、実際よりはるかに小さく見えます。
テーブルを小さくする方法:
- 異なる値が少ないテキスト(地域、チャネル、自転車の種類):
astype("category")は、各値を1回だけと、行ごとの小さなコードを保存します。
- 整数:
pd.to_numeric(col, downcast="integer")は、127までの値ならint8のように、収まる最も小さい型を選びます。
- 空きのある整数:
intはNaNを持てないので、pandasはそれを小数として保存します。NULLを許す型"Int8"、"Int16"、"Int64"(大文字のI)なら持てます。
- 読む量を減らす:
read_csv(usecols=[...], dtype={...})は、必要な列だけを、すでに正しい型で読み込みます。
行の数とほぼ同じくらい異なる値があるカテゴリーでは何も節約できないので、先にnunique()を確かめてください。