machine-learning - 纪元大小是否需要是批量大小的精确倍数？

Question

在训练网络时，如果 epoch 中的样本数量不是批量大小的精确倍数，这有什么关系吗？我的训练代码似乎并不介意是否是这种情况，尽管我的损失曲线目前非常嘈杂(如果这是一个相关问题)。

知道这一点很有用，就好像这不是一个问题一样，它可以节省对数据集进行修改以使其按批量大小进行量化的问题。它也可能减少捕获数据的浪费。

Answer 1

does it matter if the number of samples in the epoch is not an exact multiple of the batch size

不，事实并非如此。您的样本数量可以是 1000，批量大小可以是 400。

您可以根据您想要覆盖的 epoch 总数来决定迭代总数(其中每次迭代 = 对批处理进行采样并进行梯度下降)。假设您想要大约 5 个 epoch，那么您的迭代次数大约 >= 5 * 1000/400 = 13。因此，您将对随机批处理进行 13 次采样以获得大约 5 个 epoch。