python - GridSearchCV 在任何 n_jobs 的窗口上卡住

Question

我目前在使用 scikit 学习库中的 GridSearchCV 方法时遇到问题。我已经为此苦苦挣扎了一个星期，而且似乎还无法解决。当调用它来优化 C 参数上的线性 SVM 时，它会一直卡住。奇怪的是，它不仅在分配 n_jobs=-1 时发生，而且在分配 1 个 n_jobs 时也会发生，所以我不认为多处理是特别的问题。此外，当我给它一个 X 形状数组 (2448, 1024) 时它工作正常，但当我给它一个形状数组 (5202, 1024) 时它完全卡住。

我提供给它的数据: float64 numpy 形状数组，从 (2448, 1024) 到 (7956, 1024) 都可以正常工作

我已经尝试过的事情:

• 使用多线程，如 https://stackoverflow.com/a/47929603/9699979 中所建议的那样
• 将 n_jobs 的数量减少到 1
• 分配少量的 pre_dispatch 作业。它开始计算前几行冗长的代码，表明它适合的 C，然后停止了。
• 添加一个 if __name__ == '__main__' block ，如 https://github.com/scikit-learn/scikit-learn/issues/2889#issuecomment-37311446 中的建议
• 从终端而不是从我一直工作的 Jupyter Notebook 运行代码

我无法按照 https://github.com/dmlc/xgboost/issues/2163#issuecomment-314524070 中的建议运行以下代码因为我在 Windows 上运行我的代码。

from multiprocessing import pool, get_context
forkserver = get_context('forkserver')
p = forkserver.Pool()

注意事项:我用 f1 函数拟合它，而不是默认精度函数，这可能是一个问题，如这些线程所示:

• > https://github.com/scikit-learn/scikit-learn/issues/5115#issue-100597083
• > https://github.com/scikit-learn/scikit-learn/issues/2889#issue-28205288

下面是一些代码片段:

 from sklearn.externals.joblib import parallel_backend

 scaler = StandardScaler()
 X = scaler.fit_transform(fv_train.data) #traininig samples
 y = fv_train.axes[0] #class labels
 X_train, X_valid, y_train, y_valid = train_test_split(X, y, test_size = 0.1, train_size = 0.9)


clf = SVC(kernel = 'linear', probability=True)
scoring = ['f1']
C_range = np.linspace(start=1000, stop=10000, num=4, endpoint = True)
param_grid = dict(C = C_range)
grid = GridSearchCV(clf, param_grid = param_grid, scoring = scoring, cv = 3,
                    refit = 'f1', verbose = 42, n_jobs=-1, pre_dispatch=3)
with parallel_backend('threading'):
    grid.fit(X_train, y_train)

Answer 1

尝试在 __name__ == '__main__' 中指定您的代码，从 Windows 命令行运行它，但不要使用 parallel_backend 语句。使用 n_jobs 指定 GridSearhCV 应该自行处理多处理。

clf = SVC(kernel = 'linear', probability=True)
scoring = ['f1']
param_grid = {'C': np.linspace(start=1000, stop=10000, num=4, endpoint = True)}
grid = GridSearchCV(clf, param_grid = param_grid, scoring = scoring, cv = 3,
                refit = 'f1', verbose = 42, n_jobs=-1, pre_dispatch=3)
grid.fit(X_train, y_train)

打开您的 Windows 任务管理器，看看运行时发生了什么。查看您的 CPU 百分比、RAM 并查看 Windows 进程。通常你想看到的是你的 CPU 变得非常高，你应该在进程列表中看到几个名为 Python 的进程。它可能会卡住，因为您使用了完整的 CPU。

另一种可能性是 n_jobs 还没有为 f1 评分实现。您可以尝试在没有 n_jobs 语句的情况下运行您的代码，如下所示:

clf = SVC(kernel = 'linear', probability=True)
scoring = ['f1']
param_grid = {'C': np.linspace(start=1000, stop=10000, num=4, endpoint = True)}
grid = GridSearchCV(clf, param_grid = param_grid, scoring = scoring, cv = 3,
                refit = 'f1', verbose = 42, pre_dispatch=3)
grid.fit(X_train, y_train)