python-3.x - 如何在 python 中使用多处理加速循环执行

Question

我有两个列表。列表 A 包含 500 个单词。列表 B 包含 10000 个单词。我正在尝试为列表 A 找到关于 B 的相似词。我正在使用 Spacy 的相似性函数。

我面临的问题是计算需要很长时间。我是多处理使用的新手，因此请求帮助。

如何在python中通过多进程加速for循环部分的执行？

以下是我的代码。

ListA =['Dell', 'GPU',......] #500 words lists
ListB = ['Docker','Ec2'.......] #10000 words lists
s_words = []
for token1 in ListB:
    list_to_sort = [] 
    for token2 in ListA:    
        list_to_sort.append((token1, token2,nlp(str(token1)).similarity(nlp(str(token2)))))
        sorted_list = sorted(list_to_sort, key = itemgetter(2), reverse=True)[0][:2]
        s_words.append(sorted_list)

Answer 1

您可以使用 multiprocessing包裹。我希望这会大大减少您的时间。参见 here对于示例代码。