python - 如何在两个请求之间传输 python 对象？

Question

我想在两个请求之间批量处理一个 python dict 对象。我想知道最好的方法是什么。

我想这样做是因为我的字典很大，我无法在 30 秒内完成整个处理。

谢谢

Answer 1

您可以序列化您的对象(也许使用 pickle ，但如果您的对象的性质受到良好约束，可能会有更有效和更具体的方法)并将序列化的字节字符串保存到数据存储和 memcache 中(我不推荐使用只是内存缓存，因为缓存在两次请求之间可能偶尔会被“刷新”——在这种情况下，您绝对希望以便能够从数据存储中获取您的序列化字节字符串!)。

memcache 将为您进行酸洗，如果您传递原始对象——但是，由于您无论如何都需要序列化字符串将其放入数据存储区，我认为最好自己做显式序列化。一旦您 memcache.add 一个字符串，后者被 pickle(然后在检索时被 unpickle)这一事实就不是什么大问题了——时间和空间的开销确实非常适中。

这种方法有局限性——例如，每个键的内存缓存不能超过 1MB，所以如果你的对象真的很大，你需要将序列化的字节串拆分到多个键上(并且对于多个这样的兆字节切片，事情变得非常笨重)。

此外，当然，第一个和第二个请求必须“同意”用于序列化数据存储和检索的 key ——即必须有一种简单的方法来获取该 key 而不会造成混淆(例如，它可能基于当前用户的名称)。