python - 如何为大型数据集的 python 多处理选择 block 大小

Question

我正在尝试使用 python 来获得一些可以使用 http://docs.python.org/library/multiprocessing 高度并行化的任务的性能.

在查看他们的库时，他们说要对非常长的可迭代对象使用 block 大小。现在，我的 iterable 不长，它包含的一个字典很大:~100000 个条目，元组作为键，numpy 数组作为值。

我如何设置 block 大小来处理这个问题以及如何快速传输这些数据？

谢谢。

Answer 1

让多个工作人员同时处理这个大项目的唯一方法是将其拆分。 multiprocessing 以单元为单位划分工作，但您可以提供给它的最小单元是一个对象——它不知道如何以一种合理的方式拆分单个对象。相反，你必须自己做。与其发送要处理的指令，不如将指令拆分到更小的工作单元，然后将它们发送过来。如果因为所有数据都是相互依赖的而无法拆分 dict，那么您也无法真正拆分工作。