gpt4 book ai didi

scikit-learn - 多处理支持的并行循环不能嵌套在线程下

转载 作者:行者123 更新时间:2023-12-03 23:56:45 25 4
gpt4 key购买 nike

joblib中出现此类问题的原因是什么?
'多处理支持的并行循环不能嵌套在线程下,设置 n_jobs=1'
我应该怎么做才能避免这样的问题?

实际上我需要实现 XMLRPC 服务器,它在后台线程中运行大量计算并通过从 UI 客户端轮询报告当前进度。它使用基于 joblib 的 scikit-learn。

PS:
我只是将线程的名称更改为“MainThread”以避免此类警告,并且一切看起来都很好(按预期并行运行,没有问题)。这种变通方法将来可能会出现什么问题?

最佳答案

我在一个线程中使用 sklearn 进行预测时遇到了同样的警告,使用我加载的模型并且它配备了 n_jobs > 1。当你腌制一个模型时,它会出现它的参数,包括 n_jobs。
为避免警告(和潜在的序列化成本),请在酸洗模型时将 n_jobs 设置为 1:

clf = joblib.load(model_filename).set_params(n_jobs=1)

关于scikit-learn - 多处理支持的并行循环不能嵌套在线程下,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27646052/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com