gpt4 book ai didi

python - 通过序列化或内存中 KV 存储缓存 Pandas Dataframe

转载 作者:可可西里 更新时间:2023-11-01 11:13:25 28 4
gpt4 key购买 nike

哪种缓存 pandas DataFrame 对象的方法将提供最高性能?通过使用 pickle 将其存储到磁盘上的平面文件,或者通过将其存储在像 Redis 这样的键值存储中?

最佳答案

我有大约 1 GB 纯文本数据的 DF。假设转储到磁盘总是比读取慢,我将 HDF5 写入性能与 pickle 进行了比较。HDF5 花费了 35 秒,而 pickle 花费了 190 秒。所以,你可以考虑使用 HDF5 而不是 pickle

关于python - 通过序列化或内存中 KV 存储缓存 Pandas Dataframe,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33150684/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com