python - 如何在 python 中对关键字参数使用 executor.map 函数

Question

我遇到了一个场景，我需要为 python 中的值列表并行运行函数。我从 concurrent.futures 了解到 executor.map 将完成这项工作。而且我能够使用以下语法 executor.map(func,[values]) 并行化该函数。

但是现在，我遇到了相同的场景(即函数必须并行运行)，但是函数签名与之前的不同，下面给出。

  def func(search_id,**kwargs):
      # somecode
      return list

  container = []
  with concurrent.futures.ProcessPoolExecutor() as executor:
       container.extend(executor.map(func, (searchid,sitesearch=site),[list of sites]))

我不知道如何实现上述目标。有人可以指导我吗？

Answer 1

如果您有一个可迭代的站点，您想要映射并且您想要传递相同的search_term 和页面 每次调用的参数。您可以使用 zip 创建一个迭代器，它返回 3 个元素的元组，其中第一个是您的站点列表，第二个和第三个是其他参数，只是使用 itertools.repeat

def func(site, search_term, pages):
    ...

from functools import partial
from itertools import repeat
executor.map(func, zip(sites, repeat(search_term), repeat(pages)))