machine-learning - Caffe 或卷积网络中的批量大小是多少

Question

我认为批量大小只是为了性能。批处理越大，同时计算的图像就越多，以训练我的网络。但我意识到，如果我改变批量大小，我的净准确度会变得更好。所以我不明白批量大小是什么。有人可以解释一下什么是批量大小吗？

Answer 1

Caffe 使用 Stochastic-Gradient-Descend (SGD) 进行训练:也就是说，在每次迭代时，它都会计算训练数据参数的(随机)梯度，并沿梯度方向移动(=更改参数)。
现在，如果你写出梯度方程。您会注意到，为了准确地计算梯度，您需要在每次迭代时评估所有训练数据:这是令人望而却步的非常耗时，尤其是当训练数据越来越大时。
为了克服这个问题，SGD 通过在每次迭代时仅对训练数据的一小部分进行采样，以随机方式逼近精确的梯度。这一小部分就是批处理。
因此，批量大小越大，每次迭代的梯度估计就越准确。

TL;DR:批量大小会影响每次迭代时估计梯度的准确性，因此更改批量大小会影响优化所采用的“路径”，并可能改变训练过程的结果。

<小时/>

更新:
在 ICLR 2018 session 上提出了一项有趣的工作:
Samuel L. Smith、Pieter-Jan Kindermans、Chris Ying、Quoc V. Le Don't Decay the Learning Rate, Increase the Batch Size .
这项工作基本上涉及改变批量大小和学习率的影响。