gpt4 book ai didi

python - 加载 csv 文件时出现内存错误?

转载 作者:太空宇宙 更新时间:2023-11-04 03:02:27 26 4
gpt4 key购买 nike

我有一台带有 8 GB 内存的 Ubuntu 笔记本电脑。还有一个 2 GB 的 CSV 文件,但是当我使用 pandas 方法read_csv 加载我的数据时,内存已完全填满,而内存为 7 GB自由的 。2 GB 文件如何填满 7 GB 内存?

最佳答案

您收到此 low_memory 警告的原因可能是因为猜测每一列的 dtype 非常需要内存。 Pandas 尝试通过分析每一列中的数据来确定要设置的数据类型。

如果使用 32 位系统:在 Windows 中使用 32 位版本时,python 经常发生内存错误。这是因为默认情况下,32 位进程只能使用 2GB 内存。

试试这个:

tp = pd.read_csv('file_name.csv', header=None, chunksize=1000)
df = pd.concat(tp, ignore_index=True)

关于python - 加载 csv 文件时出现内存错误?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40515194/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com