File besar bisa memenuhi memori komputer Anda. df.memory_usage(deep=True) menampilkan jumlah byte per kolom; tanpa deep=True, kolom teks hanya dihitung pointer-nya sehingga tampak jauh lebih kecil dari ukuran sebenarnya.
Cara memperkecil tabel:
- Teks dengan sedikit nilai berbeda (wilayah, saluran, jenis sepeda):
astype("category") menyimpan setiap nilai satu kali ditambah kode kecil per baris.
- Bilangan bulat:
pd.to_numeric(col, downcast="integer") memilih tipe terkecil yang muat, misalnya int8 untuk nilai hingga 127.
- Bilangan bulat dengan nilai kosong:
int tidak bisa menyimpan NaN, jadi pandas menyimpannya sebagai desimal. Tipe "Int8", "Int16", dan "Int64" (I kapital) bisa.
- Baca lebih sedikit:
read_csv(usecols=[...], dtype={...}) hanya memuat kolom yang Anda butuhkan, langsung dengan tipe yang tepat.
Kategori dengan jumlah nilai berbeda yang hampir sama banyaknya dengan jumlah baris tidak menghemat apa pun, jadi periksa nunique() terlebih dahulu.
Seluruh tabel, dalam byte.