machine-learning - 训练神经网络时对批量数据进行混洗

Question

我有 6.5 GB 的训练数据可用于我的 GRU 网络。我打算分割训练时间，即暂停和恢复训练，因为我使用的是笔记本电脑。我假设使用整个 6.5 GB 来训练我的神经网络需要几天的时间，因此，我将暂停训练，然后在其他时间再次恢复。

这是我的问题。如果我将批量训练数据打乱，神经网络是否会记住哪些数据已用于训练？

请注意，我使用的是 tf.train.Saver().save 的 global_step 参数。

提前非常感谢您!

Answer 1

我建议您在某些时期保存您的模型，假设您有 80 个时期，明智的做法是在每 20 个时期(20,40,60)保存您的模型，但这又取决于您的容量笔记本电脑，原因是在一个时期，您的网络将看到所有数据集(训练集)。如果您的整个数据集无法在单个时期内处理，我建议您从整个数据集中随机采样什么是训练集。洗牌的全部目的是让网络对整个数据集进行一些泛化，通常是在批量或选择训练数据集上完成，或者开始一个新的训练纪元。至于你的主要问题，它肯定是可以在训练和恢复时打乱 bacthes。打乱批处理可确保梯度是沿着批处理计算的，而不是在一张图像上计算的