machine-learning - 神经网络和批量学习

Question

我是神经网络新手，想知道什么时候应该降低学习率而不是批量大小。

我理解如果学习发散，学习率就必须降低。

但是，什么时候应该减少或增加批量大小？我的猜测是，如果损失波动太大，那么减少批量大小会是理想的选择吗？

Answer 1

如果增加批量大小，梯度更有可能指向正确的方向，从而减少(总体)误差。特别是与仅考虑单个示例后更新权重相比，这会导致非常随机且嘈杂的梯度。

因此，如果损失函数发生波动，您可以同时执行以下两个操作:增加批量大小并降低学习率。较大批量大小的缺点是每次更新的计算成本较高。因此，如果训练时间太长，看看它是否仍然可以在较小的批量大小下收敛。

您可以阅读更多here或here 。 (顺便说一句，https://stats.stackexchange.com/更适合不包含具体代码实现的理论问题)