python-3.x - SVM 回归的调整参数

Question

我正在尝试创建 SV 回归。我正在从带有一些高斯噪声的 sinc 函数生成数据。

现在，为了找到 RBF 内核的最佳参数，我通过运行 5 折交叉验证来使用 GridSearchCV。

P.S - 我是 Python 和机器学习的新手，所以可能代码在某些方面没有得到很好的优化或正确。

我的代码:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.svm import SVR
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import mean_squared_error


def generateData(N, sigmaT):  
    # Input datapoints 
    data = np.reshape(np.linspace(-10, 10, N), (N,1))
    # Noise in target with zero mean and variance sigmaT
    epi = np.random.normal(0 , sigmaT, N)

    # Target
    t1 = np.sinc(data).ravel()              # target without noise
    t2 = np.sinc(data).ravel() + epi        # target with noise
    t1 = np.reshape(t1, (N, 1))
    t2 = np.reshape(t2, (N, 1))

    # Plot the generated data
    plt.plot(data, t1, '--r', label = 'Original Curve')
    plt.scatter(data, t2, c = 'orange', label = 'Data')
    plt.title("Generated data")

    return data, t2, t1


# Generate data from sin funtion
N = 100                         # Number of data points
sigmaT = 0.1                    # Noise in the data 
plt.figure(1)
X, y, true = generateData(N, sigmaT)
y = y.ravel()

# Tuning of parameters for regression by cross-validation
K = 5               # Number of cross valiations

# Parameters for tuning
parameters = [{'kernel': ['rbf'], 'gamma': [1e-4, 1e-3, 0.01, 0.1, 0.2, 0.5, 0.6, 0.9],'C': [1, 10, 100, 1000, 10000]}]
print("Tuning hyper-parameters")
svr = GridSearchCV(SVR(epsilon = 0.01), parameters, cv = K)
svr.fit(X, y)

# Checking the score for all parameters
print("Grid scores on training set:")
means = svr.cv_results_['mean_test_score']
stds = svr.cv_results_['std_test_score']
for mean, std, params in zip(means, stds, svr.cv_results_['params']):
    print("%0.3f (+/-%0.03f) for %r"% (mean, std * 2, params))

结果是

Best parameters set found on development set:  {'gamma': 0.0001, 'kernel': 'rbf', 'C': 1}
Grid scores on training set:
-0.240 (+/-0.366) for {'gamma': 0.0001, 'kernel': 'rbf', 'C': 1}
-0.535 (+/-1.076) for {'gamma': 0.001, 'kernel': 'rbf', 'C': 1}
-0.863 (+/-1.379) for {'gamma': 0.01, 'kernel': 'rbf', 'C': 1}
-3.057 (+/-4.954) for {'gamma': 0.1, 'kernel': 'rbf', 'C': 1}
-1.576 (+/-3.185) for {'gamma': 0.2, 'kernel': 'rbf', 'C': 1}
-0.439 (+/-0.048) for {'gamma': 0.5, 'kernel': 'rbf', 'C': 1}
-0.417 (+/-0.110) for {'gamma': 0.6, 'kernel': 'rbf', 'C': 1}
-0.370 (+/-0.248) for {'gamma': 0.9, 'kernel': 'rbf', 'C': 1}
-0.514 (+/-0.724) for {'gamma': 0.0001, 'kernel': 'rbf', 'C': 10}
-1.308 (+/-3.002) for {'gamma': 0.001, 'kernel': 'rbf', 'C': 10}
-4.717 (+/-10.886) for {'gamma': 0.01, 'kernel': 'rbf', 'C': 10}
-14.247 (+/-27.218) for {'gamma': 0.1, 'kernel': 'rbf', 'C': 10}
-15.241 (+/-19.086) for {'gamma': 0.2, 'kernel': 'rbf', 'C': 10}
-0.533 (+/-0.571) for {'gamma': 0.5, 'kernel': 'rbf', 'C': 10}
-0.566 (+/-0.527) for {'gamma': 0.6, 'kernel': 'rbf', 'C': 10}
-1.087 (+/-1.828) for {'gamma': 0.9, 'kernel': 'rbf', 'C': 10}
-0.591 (+/-1.218) for {'gamma': 0.0001, 'kernel': 'rbf', 'C': 100}
-2.111 (+/-2.940) for {'gamma': 0.001, 'kernel': 'rbf', 'C': 100}
-19.591 (+/-29.731) for {'gamma': 0.01, 'kernel': 'rbf', 'C': 100}
-96.461 (+/-96.744) for {'gamma': 0.1, 'kernel': 'rbf', 'C': 100}
-14.430 (+/-10.858) for {'gamma': 0.2, 'kernel': 'rbf', 'C': 100}
-14.742 (+/-37.705) for {'gamma': 0.5, 'kernel': 'rbf', 'C': 100}
-7.915 (+/-10.308) for {'gamma': 0.6, 'kernel': 'rbf', 'C': 100}
-1.592 (+/-1.513) for {'gamma': 0.9, 'kernel': 'rbf', 'C': 100}
-1.543 (+/-3.654) for {'gamma': 0.0001, 'kernel': 'rbf', 'C': 1000}
-4.629 (+/-10.477) for {'gamma': 0.001, 'kernel': 'rbf', 'C': 1000}
-65.690 (+/-92.825) for {'gamma': 0.01, 'kernel': 'rbf', 'C': 1000}
-2745.336 (+/-4173.978) for {'gamma': 0.1, 'kernel': 'rbf', 'C': 1000}
-248.269 (+/-312.776) for {'gamma': 0.2, 'kernel': 'rbf', 'C': 1000}
-65.826 (+/-132.946) for {'gamma': 0.5, 'kernel': 'rbf', 'C': 1000}
-28.569 (+/-64.979) for {'gamma': 0.6, 'kernel': 'rbf', 'C': 1000}
-6.955 (+/-8.647) for {'gamma': 0.9, 'kernel': 'rbf', 'C': 1000}
-3.647 (+/-7.858) for {'gamma': 0.0001, 'kernel': 'rbf', 'C': 10000}
-12.712 (+/-29.380) for {'gamma': 0.001, 'kernel': 'rbf', 'C': 10000}
-1094.270 (+/-2262.303) for {'gamma': 0.01, 'kernel': 'rbf', 'C': 10000}
-3698.268 (+/-8085.389) for {'gamma': 0.1, 'kernel': 'rbf', 'C': 10000}
-2079.620 (+/-3651.872) for {'gamma': 0.2, 'kernel': 'rbf', 'C': 10000}
-70.982 (+/-159.707) for {'gamma': 0.5, 'kernel': 'rbf', 'C': 10000}
-89.859 (+/-180.071) for {'gamma': 0.6, 'kernel': 'rbf', 'C': 10000}
-661.291 (+/-1636.522) for {'gamma': 0.9, 'kernel': 'rbf', 'C': 10000}

现在 GridSearchCV 给了我最好的参数 C:1, gamma:0.0001
但我检查了参数应该是 C:1000, gamma:0.5

现在我的问题是

我在 GridSearchCV 中哪里出错了？

你能解释一下 GridSearchCV 结果吗？为什么是负分和方差？它使用什么样的评分标准，如均方误差、r2 等？

编辑:我还添加了有关如何找到正确参数的代码。我只是尝试将所有参数都放在 SVR 和均方误差中。

# Working parameters
svr = SVR(kernel='rbf', C=1e3, gamma = 0.5, epsilon = 0.01)
y_rbf = svr.fit(X, y).predict(X)

# Plotting
plt.figure(1)
plt.plot(X, y_rbf, c = 'navy', label = 'Predicted')
plt.legend()

# Checking prediction error
print("Mean squared error: %.2f" % mean_squared_error(true, y_rbf))

上述参数的图在链接中，
https://imgur.com/a/cmwPz

来自 GridSearchCV 选择参数的图
https://imgur.com/a/R1OAs

Answer 1

有几件事在这里起着重要的作用:

1) GridSearch 用来寻找最佳参数的评分标准。由于您没有为 GridSearchCV 的评分参数提供任何值，因此将使用 SVR 的评分方法，即 R 平方值，而不是您所做的 mean_squared_error。

这可以通过这样做来解决:

from sklearn.metrics import make_scorer
scorer = make_scorer(mean_squared_error, greater_is_better=False)
svr_gs = GridSearchCV(SVR(epsilon = 0.01), parameters, cv = K, scoring=scorer)

2) GridSearch 用于训练的数据量。网格搜索将使用提供的 cv 将数据拆分为训练和测试(在您的情况下，K=5，因此将使用 5 折方法)。这意味着网格搜索将在训练数据上训练 SVR 并计算测试数据的分数，而不是像您正在做的整个数据。这将导致答案的变化。当 K=5 时，一次只有 80% 的数据用于训练。这意味着数据比你正在做的要少。

这可以通过将 K 的值增加到 15、20 或 25 来解决。

完成这两个更改后，这就是我得到的: