Los archivos grandes pueden llenar la memoria de tu equipo. df.memory_usage(deep=True) muestra los bytes por columna; sin deep=True, en las columnas de texto solo se cuentan los punteros y parecen ocupar mucho menos de su tamaño completo.
Formas de reducir el tamaño de una tabla:
- Texto con pocos valores distintos (regiones, canales, tipos de bicicleta):
astype("category") almacena cada valor una sola vez y un código pequeño por fila.
- Números enteros:
pd.to_numeric(col, downcast="integer") elige el tipo más pequeño que admita los valores, como int8 para valores de hasta 127.
- Números enteros con valores ausentes:
int no admite NaN, así que pandas los almacena con decimales. Los tipos "Int8", "Int16" e "Int64" (con I mayúscula) sí los admiten.
- Lee menos datos:
read_csv(usecols=[...], dtype={...}) carga solo las columnas que necesitas, ya con el tipo adecuado.
Una categoría con casi tantos valores distintos como filas no ahorra memoria, así que comprueba primero nunique().
Toda la tabla, en bytes.