python:快速轻量级持久化

Question

我正在编写一个在相当慢的手机(以及其他平台)上运行的 python 程序。使用 pickle 在手机上读取数据大约需要 2 秒，而 simplejson 明显更慢。手机运行python 2.5.4

数据在一组类的各种列表和字典中。我可以相对快速地与 json 格式相互转换。大部分时间似乎都在 pickle 或 json 处理上，因为读取或写入 json 或 pickle 文件比使用 pickle 或 json 快得多。

程序必须读取整个数据集并定期写入。

我想我可以创建一些方法将数据转换为文本，看看它是否更快，但重新发明轮子很少是值得的尝试。

还有哪些其他存储替代方案可能有意义？

Answer 1

那marshal呢？模块？根据these benchmarks它比泡菜快得多。 但是，请非常确定阅读并理解文档顶部的警告。

此外，只是为了确定:您是否使用了 cPickle？如果没有，请尝试 - 它比 pickle 快得多。

或者，由于您的数据相当简单，您可以使用 pyrex 编写自己的数据.如果你想走那条路，MsgPack serializer将是一个很好的起点。