python - 如何控制GaussianMixture中的进程数

Question

GaussianMixture 没有n_jobs 参数.同时，每当我拟合模型时

from sklearn.mixture import GaussianMixture as GMM
gmm = GMM(n_components=4,
          init_params='random',
          covariance_type='full',
          tol=1e-2,
          max_iter=100,
          n_init=1)
gmm.fit(X, y)

它跨越 16 个进程并使用我的 16 个 CPU 机器的全部 CPU 能力。我不希望它这样做。

相比之下，Kmeans具有 n_jobs 参数，该参数在具有多个初始化时控制 mutliprocessing (n_init > 1)。多处理在这里突然出现。

我的问题是它来自哪里以及如何控制它？

Answer 1

您正在观察基本代数运算方面的并行处理，加速 BLAS/LAPACK .

修改它并不像设置一个n_jobs 参数那么简单，它取决于您在使用中的实现!

常见的候选者有 ATLAS、OpenBLAS 和 Intel 的 MKL。

我建议先检查使用了哪一个，然后采取相应的行动:

import numpy as np
np.__config__.show()

可悲的是这些东西可以得到tricky .例如，MKL 的有效环境可能如下所示 (source) :

export MKL_NUM_THREADS="2"
export MKL_DOMAIN_NUM_THREADS="MKL_BLAS=2"
export OMP_NUM_THREADS="1"
export MKL_DYNAMIC="FALSE"
export OMP_DYNAMIC="FALSE"

对于 ATLAS，您似乎在 compile-time 处定义了它.

并根据this answer ，同样适用于 OpenBLAS。

根据 OP 测试，您似乎可以为 OpenMP 设置环境变量，甚至对开源候选人 Atlas 和 OpenBLAS(编译时间限制是替代方案)也影响行为修改:

export OMP_NUM_THREADS="4";