gpt4 book ai didi

linux - 为什么 sklearn 中的核心事件在时间 RFECV/LogisticRegression 后减少

转载 作者:太空宇宙 更新时间:2023-11-04 12:06:06 26 4
gpt4 key购买 nike

我正在使用 sklearn 的特征提取 RFECV,它有一个参数“n_jobs”来分配核心使用。

我有一个英特尔 i5-8400 CPU @ 2.80GHz(6 核)

我正在运行 ubuntu 16.04(64 位)。 python、sklearn等最新版本

我有 2 个同时运行的 jupyter 笔记本。我使用 RFECV 中的 n_jobs 参数为一个分配了 5 个内核,为另一个分配了 1 个内核。

这是调用 5 个内核的代码,它没有按预期工作:

logreg = LogisticRegression()
rfe = RFECV(logreg, step=3, cv=10, n_jobs=5)
rfe = rfe.fit(X_lab, y_lab)
y_pred=rfe.predict(X_lab),

无论如何,当我 sleep 时,使用 linux“top”命令查看 CPU 使用情况,它显示所有 6 个内核都处于事件状态并且几乎处于 100% 使用率(这是我的预期)。然而,当我醒来时,只有 2 个在运行,正如您从 linux 上“top”调用的前 3 行中看到的那样:

PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND

10790 ted 20 0 1489568 416948 37064 R 100.0 1.7 2456:08 python3.6
781 ted 20 0 1621052 392824 36348 R 99.7 1.6 13:04.46 python3.6
937 root 20 0 481136 106528 83944 S 8.0 0.4 42:49.95 Xorg

我的 CPU 中有一个非常好的液体冷却系统,有足够的 RAM,而且我没有超频。我是否让我的 CPU 负担过重,或者这可能是关于如何在 sklearn 上实现并行性,或者完全是其他什么?有任何想法吗?

最佳答案

所以我认为这只是 sklearn 在算法中那个点的实现。该算法在上一篇文章的大约一个小时内完成运行,并且它显然比 n_jobs=1 版本运行得更快。我再次运行它,它显示所有内核都按应有的方式工作,所以我相信它可以说是“逐渐减少”并完成了算法的计算量大的部分。 . .

关于linux - 为什么 sklearn 中的核心事件在时间 RFECV/LogisticRegression 后减少,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50647767/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com