machine-learning - 我应该从一个时期到另一个时期使用相同的训练集(卷积神经网络)

Question

根据我对卷积神经网络的了解，您必须在每个时期提供相同的训练示例，但要进行打乱(这样网络在训练时不会记住某些特定的顺序)。

但是，在 this文章中，他们在每个时期向网络提供 64000 个随机样本(因此只有一些训练示例之前“见过”):

Each training instance was a uniformly sampled set of 3 images, 2 of which are of the same class (x and x+), and the third (x−) of a different class. Each training epoch consisted of 640000 such instances (randomly chosen each epoch), and a fixed set of 64000 instances used for test.

那么，我是否必须在每个时期使用相同的训练示例，为什么？

当我使用随机样本时，实验结果很差 - 准确性差异很大。但我想知道为什么。

Answer 1

大多数时候，您可能希望使用尽可能多的数据。然而，在您引用的论文中，他们训练了一个三元组损失，它使用图像的三元组，并且可能有数十亿这样的三元组。

你可能想知道，如果我们每次都可能获得不同的训练集，为什么首先要引入纪元的概念。答案是技术性的:我们希望偶尔根据验证数据评估网络，您也可能希望根据已完成的时期数进行学习率衰减。