gpt4 book ai didi

python - 限制多线程中使用的资源

转载 作者:太空宇宙 更新时间:2023-11-04 09:01:51 24 4
gpt4 key购买 nike

我一直在并行化调用 myfunc 和 threading.Thread 的代码,如下所示:

def myfunc(elt,other):
subprocess.call("A matlab script that takes a while to execute")


allThreads = []

for elt in allElts:
allThreads.append(threading.Thread(target=myfunc,args=(elt,other)))
for t in allThreads:
t.start()
for t in allThreads:
t.join()

由于数据量很大,我遇到了内存问题:我的一些 subscribe.call 引发了内存问题,无法分配。为了避免这个问题,我尝试将同时执行的线程数限制为 8 个。我将上面的代码更改为以下内容:

someThreads = []
k = 0
for k in range(len(allElts)):
if k%8 == 1:
for t in someThreads:
t.start()
for t in someThreads:
t.join()

someThreads = []
someThreads.append(threading.Thread(target=myfunc,args=(allElts[k],other)))

else:
someThreads.append(threading.Thread(target=myfunc,args=(allElts[k],other)))
k += 1

这应该最多创建 8 个线程并执行它们。但是,这段代码的结果与我之前得到的结果不同,显然是错误的。有什么问题吗?

最佳答案

线程直到k%8 == 1才启动,然后一个新的线程被添加到一个新的someThreads但没有启动.

这意味着在循环结束时,someThreads 中至少有一个线程不会通过调用 t.start() 开始。

相反,使用 multiprocessing ThreadPool :

import multiprocessing as mp
import multiprocessing.pool as mpool
pool = mpool.ThreadPool(8)

for elt in allElts:
pool.apply_async(myfunc, args=(elt,other))

pool.close()
pool.join()

关于python - 限制多线程中使用的资源,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24569267/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com