python - SageMaker 线性学习器结果不准确？

Question

我对从 AWS (SageMaker) 线性学习器获得的结果有疑问。

也就是说，我试图复制从 R、SAS 或 Knime(使用线性回归)获得的结果，但不幸的是，我从线性学习器获得的结果与上述 3 种其他计算方法不同。

我尝试了不同的超参数和配置，但即使在合成生成的数据满足关系的非常微不足道的情况下，我也得到了不精确的回归结果

Y=X1+2*X2+3

在这种情况下，确切的回归系数等于 1,2 和截距 3。与提到的其他软件不同，SageMaker 线性学习器返回的值甚至不接近正确值例如。在一个示例运行中，我得到 [0.91547656 1.9826275 3.023757] 这根本不令人满意。你可以在这里看到我代码的相关部分!

study=((1.0,3.0,10.0),(2.0,3.0,11.0),(3.0,2.0,10.0),(4.0,7.0,21.0),(5.0,4.0,16.0))
a = np.array(study).astype('float32')
other_columns=a[:,[0,1]]
labels = a[:,2]
buf = io.BytesIO()
smac.write_numpy_to_dense_tensor(buf, other_columns, labels)
buf.seek(0)
key = 'my-training-data'
boto3.resource('s3').Bucket(bucket).Object(os.path.join(prefix, 'train', key)).upload_fileobj(buf)
s3_train_data = 's3://{}/{}/train/{}'.format(bucket, prefix, key)
output_location = 's3://{}/{}/output'.format(bucket, prefix)

container = get_image_uri(boto3.Session().region_name, 'linear-learner')

import boto3
sess = sagemaker.Session()
linear = sagemaker.estimator.Estimator(container,
                                       role, 
                                       train_instance_count=1, 
                                       train_instance_type='ml.c4.xlarge',                                       
                                       output_path=output_location,
                                       sagemaker_session=sess)
linear.set_hyperparameters(feature_dim=2,
                           predictor_type='regressor',
                           loss='squared_loss',
                           epochs=50,
                           early_stopping_patience=100,
                           mini_batch_size=4)
linear.fit({'train': s3_train_data})

您对观察到的不准确结果有什么解释吗？

谢谢尼古拉斯

Answer 1

您没有获得准确结果的两个可能原因是随机梯度下降 (SGD) 和正则化，这两者都在线性学习器中使用。 SGD 和正则化是解决许多现实世界机器学习问题的正确方法，但在这个玩具示例中它们会导致不精确的结果。

SGD 是一种优化技术，除了其他好处外，它还可以很好地适应大型数据集。它随着示例数量和维度的增加而扩展。 SGD 不太适合非常小的问题。对于非常大的数据集，SGD 是唯一有效的解决方案。对于大型、中型和小型数据集，线性学习器中的 SGD 的性能与其他求解器一样好，因为算法内置了优化，例如学习率和其他超参数的多个设置的并行探索。但是对于这个零噪声(特征和标签之间的关系是确定性的)并且只有 5 个示例的示例数据集，更精确且可扩展性更小的求解器会做得更好。

在线性学习器中默认应用正则化。要关闭它，请设置 'wd'=0.0 和 'l1'=0.0。该算法探索正则化的多个值，包括无正则化，并选择在验证集上精度最高的模型，或者如果没有验证集，则在训练数据上选择精度最好的模型。但由于在这种情况下可供学习的数据量非常小，因此选择基本上是随机的。所以很可能最终模型使用了正则化。正则化将模型权重而非偏差推向零，因此这可以解释帖子中提到的参数估计:[0.91547656 1.9826275 3.023757] 而不是 [1.0 2.0 3.0]。两个权重被推向零，偏差略高以进行补偿。

正则化在大多数实际应用中都非常有用。使用一定量的正则化训练模型几乎总是减少泛化误差(也称为样本外误差)的最佳方法。对真实世界的数据集使用正则化是正确的做法，但它会在没有噪声且线性模型假设完全正确的数据集中给出不精确的解决方案。

要精确求解小型数据集上的线性回归问题，请使用 QR 分解等求解器。例如 SKLearn 的 LinearRegression 类或 R 中的 lm 函数。但请记住，这些方法在扩展到更大的数据集时会遇到问题。也许更重要的是，我们应该关闭样本内精确解的正则化，但与使用正则化的解相比，精确解通常在看不见的数据上表现更差。

SKLearn 实现了多个优化器，包括 SGD。下面是将 SKLearn 中的 SGD 求解器应用于示例数据的示例。 SKLearn 中也默认开启正则化。由于上述原因，该解决方案不精确。

>>> from sklearn import linear_model
>>> import numpy as np
>>> study=((1.0,3.0,10.0),(2.0,3.0,11.0),(3.0,2.0,10.0),(4.0,7.0,21.0),(5.0,4.0,16.0))
>>> a = np.array(study).astype('float32')
>>> other_columns=a[:,[0,1]]
>>> labels = a[:,2]
>>> reg = linear_model.SGDRegressor(max_iter=50)
>>> reg.fit(other_columns, labels)
SGDRegressor(alpha=0.0001, average=False, epsilon=0.1, eta0=0.01,
       fit_intercept=True, l1_ratio=0.15, learning_rate='invscaling',
       loss='squared_loss', max_iter=50, n_iter=None, penalty='l2',
       power_t=0.25, random_state=None, shuffle=True, tol=None, verbose=0,
       warm_start=False)
>>> reg.coef_
array([1.39560259, 2.17536485])
>>> reg.intercept_
array([0.77972575])