gpt4 book ai didi

python - 读取大型数据集 Pandas

转载 作者:搜寻专家 更新时间:2023-10-30 23:32:54 25 4
gpt4 key购买 nike

<分区>

我正在尝试读取 20gb 的数据集。我已经搜索了一个解决方案,我已经尝试过:

   data = pd.read_csv('dataset.csv', chunksize=1000,usecols=fields)
df = pd.concat(data, ignore_index=True)

但在传递给连接时仍然出现内存错误。 (我改了很多次chunksize,还是一样)

我有 16gb 的 RAM,工作频率为 3000mhz。

有什么建议吗?

我正在尝试将数据导入数据框以进行数据分析,然后操作将其导出回来。 (需要从 nans 和噪声数据中清除数据)。

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com