python - 如何在 Python 中使用并行处理过滤器？

Question

我知道在Python中，map相当于multiprocessing模块中pool.map的并行处理类。Python 的并行编程中是否有等效的过滤器？

Answer 1

Python 具有大部分面向函数的编程 范例。如map、filter 和reduce which you can find here

话虽这么说，多处理不支持 filter 因为默认情况下 lambda 不可 pickleable。
但是您始终可以使用上面提到的函数来实现您自己的函数，或者使用迭代器、生成器或列表理解以适合您的方式复制它们。

取自 sagemath 的一个例子是:

def pool_filter(pool, func, candidates):
    return [c for c, keep in zip(candidates, pool.map(func, candidates)) if keep]

但这进一步取决于您的实现。