machine-learning - 是否可以停止机器学习训练并稍后继续？

Question

我现在正在做的是GAN。事实上，我们现在还不知道 CNN 和 RNN 正在用 GAN 做什么，而且由于计算环境是个人的，所以我们正在开发一个付费版本的“Google Colab”。据我了解，Google Colab 可以使用开发环境长达 24 小时(不完全是 24 小时)。

结果，机器学习需要一些时间，中间就被切断了，到目前为止，我被迫使用可以在 24 小时内训练的数据集和 epoke 来学习，突然间我我想，“我们不能积累训练吗？”

所以我的问题是，例如，如果我最多训练 100 次，但只训练了 50 次就中断了，我不能从 50 次开始进行下一次训练吗？如果我们能做到这一点，是不是可以进行长时间的训练，因为 Google Colab 可以在 24 小时限制的情况下每 24 小时继续训练一次？我也是这么想的。

这可能吗？

Answer 1

在 PyTorch 或 Tensorflow 等框架中，这非常简单。您可以保存模型的权重，然后在稍后恢复这些权重，您所要做的就是创建模型的实例并加载权重。

对于 PyTorch，你基本上这样做:

torch.save(model.state_dict(), path_to_save_to)

当您想要加载保存的权重时:

model = ModelClass()

model.load_state_dict(torch.load(path_saved_to)

您可能希望在每个 epoch 或每 n 个 epoch 后保存，或者仅在模型性能上升时保存，等等。

如果您没有使用任何框架，那么也是可能的。您可以将模型权重保存在 Numpy 数组中，然后可以通过多种方式将其保存到 Gdrive 中。当再次需要时，实例化您的模型，而不是随机初始化您的参数，而是将它们设置为您加载的 Numpy 数组。