python - 关于 scikit-learn 感知器学习率

Question

我正在通过 Sebastian Raschka 撰写的《Python 机器学习》一书来学习机器学习。

我的问题是关于 scikit-learn Perceptron 类中的学习率 eta0。以下代码是使用该书中的 Perceptron 实现的 Iris 数据分类器。

(...省略...)

from sklearn import datasets
from sklearn.linear_model import Perceptron
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

iris = datasets.load_iris()
X = iris.data[:, [2, 3]]
y = iris.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

sc = StandardScaler() 
sc.fit(X_train)
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)

ml = Perceptron(eta0=0.1, n_iter=40, random_state=0)    
ml.fit(X_train_std, y_train)    
y_pred = ml.predict(X_test_std)
print('total test:%d, errors:%d' %(len(y_test), (y_test != y_pred).sum()))
print('accuracy: %.2f' %accuracy_score(y_test, y_pred))

我的问题如下。对于各种 eta0 值，结果(总测试、误差、准确度)不会改变。

“总测试=45，错误=4，准确度=0.91”的结果相同，eta0=0.1 和 eta0=100。怎么了？

Answer 1

我将尝试简要解释学习率在感知器中的位置，以便您了解为什么最终误差幅度和准确度分数之间没有差异。

只要我们定义了有限数量的历元(即迭代或步骤)，感知器的算法总是能找到解决方案，无论 eta0 有多大，因为这个常数只是简单地乘以输出权重拟合期间。

其他实现(例如神经网络和基本上其他所有*)中的学习率是在达到最佳最小值的过程中乘以给定函数的偏导数的值。虽然较高的学习率使我们有更高的机会超越最佳值，但较低的学习率会消耗更多的时间来收敛(达到最佳点)。虽然理论很复杂，但有一个很好的主题描述了学习率，您应该阅读:

http://neuralnetworksanddeeplearning.com/chap3.html

好吧，现在我还将向您展示感知器中的学习率仅用于重新调整权重。让我们将 X 视为我们的训练数据，将 y 视为我们的训练标签。让我们尝试用两个不同的 eta0 来拟合感知器，例如 1.0 和 100.0:

X = [[1,2,3], [4,5,6], [1,2,3]]
y = [1, 0, 1]
clf = Perceptron(eta0=1.0, n_iter=5)
clf.fit(X, y)
clf.coef_  # returns weights assigned to the input features

array([[-5., -1., 3.]])

clf = Perceptron(eta0=100.0, n_iter=5)
clf.fit(X, y)
clf.coef_

array([[-500., -100., 300.]])

如您所见，感知器中的学习率仅重新调整模型的权重(保持符号不变)，同时保持准确度得分和误差项不变。

希望这就足够了。 E.