machine-learning - SGD 小批量 - 大小相同？

Question

具有小批量的随机梯度下降算法通常使用小批量的大小或计数作为参数。

Now what I'm wondering, do all of the mini-batches need to be of exact same size?

以 MNIST 的训练数据(60k 训练图像)和小批量大小为 70 为例。

如果我们进行一个简单的循环，则会产生 857 个大小为 70 的小批量(如指定)和一个大小为 10 的小批量。

现在，(使用这种方法)一个小批量比其他小批量(这里最坏的情况:大小为 1 的小批量)还重要吗？这会严重影响我们的网络在几乎所有训练中学到的权重和偏差吗？

Answer 1

不，小批量不必具有相同的大小。出于效率原因，它们通常大小恒定(您不必重新分配内存/调整张量大小)。实际上，您甚至可以在每次迭代中对批处理的大小进行采样。

但是，批处理的大小会产生影响。很难说哪一个是最好的，但是使用更小/更大的批量大小可能会导致不同的解决方案(并且总是 - 不同的收敛速度)。这是处理更多随机运动(小批量)与平滑更新(良好的梯度估计器)的效果。特别是 - 使用一些预定义的大小分布对批处理进行随机大小可以同时使用两种效果(但花费时间拟合此分布可能不值得)