gpt4 book ai didi

python - 流式传输大型 csv 文件的最快方法是什么?

转载 作者:太空宇宙 更新时间:2023-11-03 17:40:11 26 4
gpt4 key购买 nike

我将内置 csv 阅读器与 Pandas 的 read_csv 进行了比较。前者明显慢得多。但是,由于内存限制,我需要流式传输 csv 文件。什么流式 csv 阅读器与 Pandas 一样快或几乎一样快?

最佳答案

在 pandas.read_csv 中,您可以使用“chunksize”选项,如果这样做,pandas 返回的对象将是一个迭代器(类型为 TextFileReader),迭代时将返回读取 number_of_rows<=chunksize 的 DataFrame(I直到我阅读源代码才意识到该选项的存在...)。

关于python - 流式传输大型 csv 文件的最快方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30665447/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com