gpt4 book ai didi

python - 在 Python 中处理大型 csv 文件

转载 作者:搜寻专家 更新时间:2023-10-30 23:35:34 25 4
gpt4 key购买 nike

<分区>

我有包含超过 3.15 亿行和单列的大型 CSV 文件。我必须一次处理 50 多个这样的文件才能得到结果。

当我使用 csv 阅读器阅读 10 多个时,它需要超过 12GB 的 RAM,而且速度慢得令人痛苦。我只能读取文件的一部分以节省内存,但会花费更多时间来读取文件,因为它每次都会读取整个文件。

我考虑过将它们加载到数据库中并从那里查询数据。但是,我不确定这种方法是否有任何帮助。谁能告诉我在 Python 中处理此类场景的最有效方法是什么?

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com