Python scikit 学习 n

Python scikit 学习 n_jobs

转载作者：太空狗更新时间：2023-10-30 01:28:21

26

4

这不是一个真正的问题，但我想了解:

在 Win7 4 核 8 GB 系统上从 Anaconda distrib 运行 sklearn
在 200.000 个样本*200 个值表上拟合 KMeans 模型。
running with n-jobs = -1:(在将 if __name__ == '__main__': 行添加到我的脚本后)我看到脚本开始了 4 个进程每个线程 10 个。每个进程使用大约 25% 的 CPU(总计:100%)。似乎按预期工作
在 n-jobs = 1 的情况下运行:保持在一个进程上(不足为奇)，有 20 个线程，并且还使用 100% 的 CPU。

我的问题:如果库无论如何都使用所有核心，那么使用 n-jobs(和 joblib)有什么意义？我错过了什么吗？它是特定于 Windows 的行为吗？

最佳答案

如果库无论如何都使用所有核心，那么使用 n-jobs(和 joblib)有什么意义？

它不会，如果您将 n_jobs 指定为 -1，它将使用所有核心。如果设置为1或2，则只使用一个或两个内核(在Linux下测试完成scikit-learn 0.20.3)。

关于Python scikit 学习 n_jobs，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32761556/

26

4

0

文章推荐： python - 使用 python simple-salesforce 访问 salesforce 元数据

文章推荐： c# - WPF:实现 MediaPlayer 音频/视频搜索器

文章推荐： c# - 如何将 Linq2SQL 集合数据绑定(bind)到 winform 文本字段

Python n_jobs 用于大规模问题
当我在cross_val_score()中使用参数n_jobs时。当我的数据规模较小时，它效果很好，但当我扩大数据规模时，多处理似乎不起作用。怎么会这样？附注:我使用 IPython 最佳答案
python - 任何 n_jobs 进行交叉验证的内存泄漏
我正在运行一个代码来进行二进制分类并在之后预测标签。该代码与一个大小为 257673 行和 47 列的特定数据库完美运行。当我尝试使用 91690 行和 10 列之一(当然更小)时，我收到错误调用:
python - sklearn 线性回归中的 n_jobs
当我将 n_jobs 变量传递给 sklearn 中的 LinearRegression 时，我收到一个错误。根据documentation它应该支持 n_jobs 变量。我做错了吗？ >>> s
Python scikit 学习 n_jobs
这不是一个真正的问题，但我想了解: 在 Win7 4 核 8 GB 系统上从 Anaconda distrib 运行 sklearn 在 200.000 个样本*200 个值表上拟合 KMeans 模
python - 在哪里设置 n_job : estimator or GridSearchCV?
我经常用 GridSearchCV 用于超参数调整。例如，用于调整正则化参数 C在 Logistic Regression .每当我使用的估算器有自己的 n_jobs参数我很困惑在哪里设置它，在估计器
python - 多处理支持的并行循环不能嵌套在线程下方，设置 n_jobs=1
我开发了一个 Python 脚本，它基本上读取 excel 文件并使用 sklearns GridSearchCV 训练模型，使用 n_jobs 语句: def create_table():
python - Scikit-Learn n_jobs 多处理锁定到一个核心
尝试通过 n_jobs 参数将 gridsearch CV 与多个作业一起使用，我可以使用 htop 看到它们都已启动并运行，但它们都卡在/分配在同一个核心上，每个使用 25%(我使用的是4核机)。我
python - 令人尴尬的是，并行助手对于不同的 'n_jobs' 参数没有返回相同的结果
def test_n_jobs_parallel(): # Test to check the functioning of n_jobs parameter. for kernel in k
python - 如何在 GridSearchCV( ..., n_jobs = ... ) 中找到最佳进程数？
我想知道，哪个更好地与 GridSearchCV( ..., n_jobs = ... ) 一起使用来为模型选择最佳参数集， n_jobs = -1 或 n_jobs 较大的数字，如 n_jobs
python - n_jobs 在 sklearn 类中不起作用
有人使用 sklearn 类的“n_jobs”吗？我在 Anaconda 3.4 64 位中使用 sklearn。 Spyder 版本是 2.3.8。将某些 sklearn 类的“n_jobs”参数设
python - GridSearchCV 在任何 n_jobs 的窗口上卡住
我目前在使用 scikit 学习库中的 GridSearchCV 方法时遇到问题。我已经为此苦苦挣扎了一个星期，而且似乎还无法解决。当调用它来优化 C 参数上的线性 SVM 时，它会一直卡住。奇怪的是
scikit-learn - 使用多个GPU的GridSearchCV中 "n_jobs == 1"的含义
我一直在使用带有 4 个 NVIDIA GPU 的 Keras 框架来训练 NN 模型。 (数据行数:~160,000，列数:5)。现在我想通过使用 GridSearchCV 来优化它的参数。但是，
python - scikit-learn 中的 n_jobs 并行化pairwise_distances
感谢Philip Cloud的伟大answer to a previous question ，我深入研究了 scikit 中 pairwise_distances 的源代码。相关部分是: def
python - scikit 学习。 n_jobs=-1 的多处理管道中的自定义估算器
我在 scikit learn 中编写了自定义转换器并构建了管道。现在我正在尝试使用 GridSearchCV 调整此管道。一切工作正常，直到我尝试设置 n_jobs=-1 来加速该过程。 GUI J
python - 增加 n_jobs 对 GridSearchCV 没有影响
我设置了一个简单的实验来检查多核 CPU 在运行 sklearn GridSearchCV 和 KNeighborsClassifier 时的重要性。我得到的结果让我感到惊讶，我想知道我是否误解了多核
python - n_jobs=-1 的 GridSearchCV 不适用于决策树/随机森林分类
我正在尝试使用 GridSearchCV 来评估具有不同参数集的不同模型。逻辑回归和 k-NN 不会导致问题，但当 n_jobs=-1 时，决策树、随机森林和一些其他类型的分类器不起作用。 for c
python - 如何更改 GridSearchCV.best_estimator_ 的 n_jobs 参数
我正在运行 GridSearchCV，其中基本估计器是 RandomForestRegressor。我发现在估计器和网格搜索之间拆分处理器会更有效，因此在机器的 24 个可用处理器中，我将 n_job
python - sklearn 和 n_jobs 中的超参数优化 > 1 : Pickling
我陷入了“困境”。这是我的代码的结构: 行为类似于抽象类的基类可以实例化的子类一种设置参数并使用 n_jobs=-1 调用 RandomizedSearchCV 或 GridSearchCV 的方
python - n_jobs=-1 的 sklearn Logistic 回归实际上并不并行化
我正在尝试使用 sklearn 的逻辑回归训练一个巨大的数据集。我已经设置了参数n_jobs=-1(也尝试过n_jobs = 5, 10, ...)，但是当我打开htop时，我可以看到它仍然只使用一个
python - BrokenProcessPool 关于在 cross_val_score 中使用 n_jobs 参数
在 sklearn.model_selection.cross_val_score 中使用 n_jobs = -1 作为参数时出现错误。我是深度学习和 ANN 的初学者，根据 this 中的讲师在 k

首页

博学

6Ren·AI

商城

Python scikit 学习 n_jobs