python - 如何使用多处理for循环？

Question

我试图了解如何在我的案例中实现多处理。我有两个函数:def all_url() 和 def new_file()。第一个返回一个包含很多元素的列表。第二个使用此列表进行“for”循环。我想对第二个函数 new_file() 进行多重处理，因为从 all_url() 返回的列表太大。

代码示例:

def all_url():
   #Here I append elements to urllist
    return urllist

def new_file():
    for each in all_url():
      #There's a lot of code. Each iteration of loop creates a new html file.

new_file()

Answer 1

你需要做这样的事情:

from multiprocessing.pool import Pool

def all_url():
    #Here I append elements to urllist
    return urllist

def new_file():
    with Pool() as pool:
        pool.map(new_file_process_url, all_url())

def new_file_process_url(each):
      # Creates html file.

if __name__ == '__main__':
    new_file()