Python 多处理，类型错误

Question

我是多重处理新手，需要您的帮助。

我有四个变量，每个变量最多可以有 4 个值(整数或 float )，我将它们全部存储在一个名为 par=[A, B, C, D] 的列表中。 (见下文)

我已经使用 par = itertools.product(*par) 创建了可能的组合列表。

然后，我调用一个函数 func1，它接受这些参数和更多参数并计算内容。根据 func1 的结果，我调用另一个函数来计算内容，然后写入文件。

我想与 multiprocessing.Pool 并行运行它们，我想将 func1 和 func2 嵌入另一个函数中，称为func_run，并将其与我上面创建的列表 par 进行映射。

总而言之，我的代码如下所示:

#values that I will use for func1
    
r   = np.logspace(np.log10(5),np.log10(300),300)
T   = 200*r

#Parameters for the sim
A = [0.1, 0.05, 0.001, 0.005]
B = [0.005, 0.025, 0.05, 0.1]
C = [20, 60, 100, 200]
D = [10, 20, 40, 80]

#Store them in a list
par = [A, B, C, D]

#Create a list with all combinations
par = list(itertools.product(*par))             

def func_run(param):
    for i in range(len(param)):

# Call func1
        values = func1(param[i][0],param[i][1],param[i][2], param[i][3], r, T)

        x = values[0]
        y = values[1]
        # and so on
        
# Call func2
        results = func2(x,y,...)

        z = results[0]
        w = results[1]
        # and so on

        data_dict = {'result 1': [param[i][0]], 'result 2' : [param[i][1]]}

    df = pd.DataFrame(data=data_dict)
        with open(filename, 'a') as f:
                df.to_csv(f, header=False)
      
    return

然后，我使用 multiprocessing 调用 func_run。

from multiprocessing import Pool
pool = Pool(processes=4)
results = pool.map(func_run, par)

结果，我得到一个带有回溯的 TypeError:

---------------------------------------------------------------------------
RemoteTraceback                           Traceback (most recent call last)
RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/home/user/anaconda3/lib/python3.6/multiprocessing/pool.py", line 119, in worker
result = (True, func(*args, **kwds))
  File "/home/user/anaconda3/lib/python3.6/multiprocessing/pool.py", line 44, in mapstar
return list(map(*args))
  File "<ipython-input-14-5ce94acfd95e>", line 5, in run
values = calc_val(param[i][0],param[i][1],param[i][2], param[i][3], r, T)
TypeError: 'float' object is not subscriptable
"""

The above exception was the direct cause of the following exception:

TypeError                                 Traceback (most recent call last)
<ipython-input-15-f45146f68f66> in <module>()
      1 pool    = Pool(processes=4)
----> 2 test    = pool.map(run,par)

~/anaconda3/lib/python3.6/multiprocessing/pool.py in map(self, func, iterable, chunksize)
264         in a list that is returned.
265         '''
--> 266         return self._map_async(func, iterable, mapstar, chunksize).get()
267 
268     def starmap(self, func, iterable, chunksize=None):

~/anaconda3/lib/python3.6/multiprocessing/pool.py in get(self, timeout)
642             return self._value
643         else:
--> 644             raise self._value
645 
646     def _set(self, i, obj):

TypeError: 'float' object is not subscriptable

不幸的是，不可能添加整个函数以及它们在做什么，因为它们有数百行。我希望你能体会到这种感觉，尽管你自己无法真正重现它。

是否可以通过多处理来运行类似的东西，或者我需要不同的方法？如果有人能帮助我理解错误并使其运行，那就太好了。

Answer 1

结果

par = list(itertools.product(*par))

是 float (和整数)元组的列表。 Pool.map()接受一个可迭代对象作为第二个参数并映射其项，将它们单独传递给给定的函数。换句话说，在函数 func_run(param) 中，param 不是数字元组的列表，而是数字元组，所以

param[i][0]

正在尝试访问第 0 个浮点对象的第 0 个项目，这当然没有意义，因此出现异常。您可能应该删除 func_run() 中的 for 循环:

def func_run(param):
    values = func1(param[0], param[1], param[2], param[3], r, T)
    ...