machine-learning - 使用 TensorFlow 进行线性回归是否需要调整批量大小或周期？

Question

我正在写一篇文章，重点讨论一个简单的问题 - 在存在标准正态或均匀噪声的情况下对大型数据集进行线性回归。我选择 TensorFlow 中的 Estimator API 作为建模框架。

我发现，当训练步骤的数量足够大时，超参数调整实际上对于这样的机器学习问题并不重要。我所说的超参数是指训练数据流中的批量大小或时期数。

有没有任何论文/文章可以正式证明这一点？

Answer 1

我认为没有一篇论文专门关注这个问题，因为它或多或少是一个基本事实。 this book的介绍章节讨论一般机器学习的概率解释，特别是损失函数优化。

简而言之，其想法是这样的:小批量优化对于 (x1,..., xn) 相当于连续优化步骤对于 x1, .. ., xn 输入，因为梯度是线性运算符。这意味着小批量更新等于其各个更新的总和。这里重要的说明:我假设神经网络不应用批标准化或任何其他为推理模型添加显式变化的层(在这种情况下，数学有点复杂)。

因此批量大小可以看作是一种纯粹的计算思想，通过矢量化和并行计算来加速优化。假设可以承受任意长的训练并且数据被适本地洗牌，则批量大小可以设置为任何值。但并不是所有的超参数都自动成立，例如非常高的学习率很容易迫使优化发散，所以不要错误地认为超参数调整一般来说并不重要。