python - 泡菜替代品

Question

我正在尝试序列化一个大型(~10**6 行，每行有 ~20 个值)列表，供我自己以后使用(所以 pickle 缺乏安全性不是问题)。

列表的每一行都是一个值元组，来自某个 SQL 数据库。到目前为止，我已经看到了 datetime.datetime、字符串、整数和 NoneType，但我最终可能必须支持其他数据类型。

对于序列化，我考虑过pickle(cPickle)、json和纯文本——但只有pickle保存了类型信息:json不能序列化datetime.datetime，纯文本有它的明显的缺点。

但是，cPickle 对于这么大的数据非常慢，我正在寻找更快的替代方案。

Answer 1

只要您不使用(默认)ASCII 协议(protocol)，Pickle 实际上就相当快。只需确保使用 protocol=pickle.HIGHEST_PROTOCOL 进行转储即可。