python - 用 Pandas 加载大 CSV 文件

Question

我正在尝试使用 pandas 加载一个 csv 文件(大约 250 MB)作为数据框。在我的第一次尝试中，我使用了典型的 read_csv 命令，但我收到了错误内存。我试过Large, persistent DataFrame in pandas中提到的方法使用 block :

x=pd.read_csv('myfile.csv', iterator=True, chunksize=1000)
xx=pd.concat([chunk for chunk in x], ignore_index=True)

但是当我尝试连接时，我收到了以下错误:异常:“所有传递的对象都没有”。事实上我无法访问这些 block

我正在使用 winpython 3.3.2.1 32 位和 pandas 0.11.0

Answer 1

我建议您安装 64 位版本的 winpython。那么您应该能够毫无问题地加载 250 MB 的文件。