gpt4 book ai didi

python - 我如何用多个参数并行化一个简单的 python def

转载 作者:行者123 更新时间:2023-11-28 22:55:46 26 4
gpt4 key购买 nike

<分区>

我想并行化一个 python 脚本。我创建了一个定义:

def dummy(list1,list2):
do usefull calculations ...

list1 和 list2 包含我应该读取的文件名列表,然后用它们进行计算。这些文件是独立的。 list1 和 2 包含相同数量的参数。

让我们假设我有 2 个 CPU(我想强加要使用的 CPU 数量)。我希望第一个 cpu 使用仅包含 list1 和 list2 的前半部分的列表调用定义,同时第二个 cpu 应该使用 list1 和 list2 的后半部分调用相同的 def dummy。

类似于:

import multiprocessing
nb_cpus = 2
pool = multiprocessing.Pool(processes=nb_cpus)
for ii in nb_cpus:
list_half1 = list1[0:max/nb_cpus]
list_half2 = list2[0:max/nb_cpus]
result[ii] = pool.map(dummy,list_half1,list_half2)

问题是 pool.map 只能在 def 有 1 个参数的情况下工作,而且我不能在 cpus 上循环。

感谢您对该问题的任何帮助!

PS:我不可能将两个参数连接成一个,因为在实际情况下我要传递更多的参数。

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com