r - 插入符号 : Choosing the correct number of cores in parallel backend

Question

我正在尝试使用 caret 在具有 8 个 CPU 核心和 32 GB RAM 的 Ubuntu 计算机上使用 glmnet 实现来交叉验证弹性网络模型。当我按顺序训练时，我在一个核心上最大化了 CPU 使用率，但平均使用了 50% 的内存。

• 当我使用doMC(cores = xxx)时，我是否需要担心只注册xxx = Floor(100/y)个核心，其中y是模型的内存使用情况当使用单核(以％为单位)时，为了不耗尽内存？

• caret 是否有任何启发式方法可以让它计算出最大值。使用的核心数量？

• 是否有任何一套启发式方法可以用来动态调整核心数量，以便在不同大小的数据和模型复杂性下以最佳方式使用我的计算资源？

<小时/>

编辑:

FWIW，尝试使用 8 核使我的机器没有响应。显然 caret 不会检查生成的 xxx 进程是否可能出现问题。那么如何动态选择核心数量呢？

Answer 1

Clearly caret does not check to see if the spawning xxx processes is likely to be problematic.

正确；它无法预测您计算机的 future 性能。

您应该了解按顺序运行时用于建模的内存量。您可以开始训练并使用 top 或其他方法来估计使用的 ram 量，然后终止该进程。如果您依次使用 X GB 的 RAM，则在 M 个内核上运行将需要 X(M+1) GB 的 RAM。