python - 我需要在 Python 多处理环境中使用高效的共享字典

Question

我已经使用 Python 的多处理包实现了一个生产者多个消费者模式。消费者应将结果放入字典中。这本字典的键是单词，值是大的 Scipy 稀疏矩阵。每个消费者将其看到的每个单词的值添加到共享词典中该单词的主向量中。

我已经使用 Manager.dict() 来实现这个共享字典，但是速度很慢。每个进程的 cpu 利用率约为 15%，仅比单个进程好一点点。每个消费者从共享字典中获取一个项目，将稀疏矩阵添加到该项目的值并更新共享字典中的项目。

有没有更有效的解决方案？

Answer 1

import memcache

memc = memcache.Client(['127.0.0.1:11211'], debug=1);
memc.set('top10candytypes', {1 : 2, "3" : [4,5,6]})

bestCandy = memc.get('top10candytypes')
print(bestCandy)

我不是内存缓存方面的专家，因为我自己才刚刚开始使用它。但是，如果您有多个线程需要访问相同的数据，或者如果您只是需要有效地存储东西而不会耗尽 ram，那么它非常方便。