python - 使 sklearn 中的网格搜索功能忽略空模型

Question

我想使用 python 和 scikit-learn 进行网格搜索。但是我的一些模型最终是空的。如何使网格搜索功能忽略这些模型？

我想我可以有一个评分函数，它在模型为空时返回 0，但我不确定该怎么做。

predictor = sklearn.svm.LinearSVC(penalty='l1', dual=False, class_weight='auto')
param_dist = {'C': pow(2.0, np.arange(-10, 11))}
learner = sklearn.grid_search.GridSearchCV(estimator=predictor,
                                           param_grid=param_dist,
                                           n_jobs=self.n_jobs, cv=5,
                                           verbose=0)
learner.fit(X, y)

我的数据表明此learner 对象将选择与空模型相对应的C。知道如何确保模型不为空吗？

编辑:“空模型”是指已选择使用 0 个特征的模型。特别是对于 l1 正则化模型，这很容易发生。所以在这种情况下，如果 SVM 中的 C 足够小，优化问题将找到 0 向量作为系数的最优解。因此 predictor.coef_ 将是一个包含 0 的向量。

Answer 1

尝试实现自定义记分器，类似于:

import numpy as np

def scorer_(estimator, X, y):
    # Your criterion here
    if np.allclose(estimator.coef_, np.zeros_like(estimator.coef_)):
        return 0
    else:
        return estimator.score(X, y)

learner = sklearn.grid_search.GridSearchCV(...
                                           scoring=scorer_)