Arquivos grandes podem encher a memória do seu computador. df.memory_usage(deep=True) mostra os bytes por coluna; sem deep=True, as colunas de texto são contadas apenas como ponteiros e parecem bem menores do que são.
Formas de reduzir o tamanho de uma tabela:
- Texto com poucos valores distintos (regiões, canais, tipos de bicicleta):
astype("category") armazena cada valor uma vez, mais um código pequeno por linha.
- Números inteiros:
pd.to_numeric(col, downcast="integer") escolhe o menor tipo que comporte os valores, como int8 para valores de até 127.
- Números inteiros com valores ausentes:
int não aceita NaN, então o pandas os armazena como decimais. Os tipos "Int8", "Int16" e "Int64" (com I maiúsculo) aceitam.
- Leia menos:
read_csv(usecols=[...], dtype={...}) carrega só as colunas de que você precisa, já no tipo certo.
Uma categoria com quase tantos valores distintos quanto linhas não economiza nada, então confira nunique() primeiro.
A tabela inteira, em bytes.