gpt4 book ai didi

python - 如何加快将数据帧导入 Pandas 的速度

转载 作者:行者123 更新时间:2023-11-28 22:23:02 24 4
gpt4 key购买 nike

我知道 pandas 导入 csv 文件相对较慢的原因之一是它需要在猜测类型之前扫描列的全部内容(请参阅围绕大多数已弃用的 low_memory 的讨论> pandas.read_csv 的选项)。我的理解正确吗?

如果是,那么存储数据帧的良好格式是什么,并且明确指定数据类型,因此 pandas 不必猜测(SQL 目前不是一个选项)?

特别来自 those listed here 的任何选项?

我的数据框有 float 、整数、日期、字符串和 Y/N,所以只支持数值的格式是行不通的。

最佳答案

一种选择是使用 numpy.genfromtxt使用 delimiter=',', names=True,然后使用 numpy 数组初始化 pandas 数据帧。 numpy 数组将被结构化,pandas 构造函数应自动设置字段名称。

根据我的经验,这表现不错。

关于python - 如何加快将数据帧导入 Pandas 的速度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47310975/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com