gpt4 book ai didi

Python multiprocessing.Pool 每个变量的新进程

转载 作者:行者123 更新时间:2023-11-28 22:35:18 24 4
gpt4 key购买 nike

我正在使用 multiprocessing.Pool 来循环变量并对第三方程序进行 API 调用。问题是 API 存在一些垃圾收集问题,因此我需要为每个要运行的变量值创建一个全新的进程。有什么方法可以强制多处理关闭并为我列表中的每个值启动一个新进程?

我的代码的一个简单示例是这样的:

from multiprocessing import Pool
pool = Pool()
vals = range(0,100)
result = pool.map(api_call_function, vals)

谢谢!

最佳答案

设置maxtasksperchild1 应该强制 Pool 为每个任务创建一个新进程:

pool = Pool(maxtasksperchild=1)

关于Python multiprocessing.Pool 每个变量的新进程,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38294608/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com