machine-learning - 只使用一个纪元可以吗？

Question

我正在 TensorFlow 中根据我生成的数据训练神经网络(使用 tflearn )。据我所知，每个时期我们都会使用所有训练数据。由于我可以控制拥有的示例数量，因此最好生成更多训练数据，直到一个时期足以训练网络为止。

所以我的问题是:假设我有足够的训练数据，只使用一个时期有什么缺点吗？我假设 100 万个示例的 1 个时期优于 100,000 个示例的 10 个时期，这是否正确？

Answer 1

与@Prune 讨论后:

假设您有可能生成无限数量的标记示例，这些示例是从固定的基础概率分布中采样的，即来自同一个流形。

网络看到的示例越多，它的学习效果就越好，尤其是它泛化的效果就越好。理想情况下，如果你训练它足够长的时间，它可以在此特定任务上达到 100% 的准确率。

<小时/>

结论是，只要示例是从同一分布中采样的，仅运行 1 个时期就可以了。

此策略的局限性可能是:

• 如果您需要存储生成的示例，则可能会耗尽内存
• 要处理不平衡的类(参见@jorgemf答案)，您只需为每个类采样相同数量的示例即可。
  • 例如如果您有两个类，并且有 10% 的机会对第一个类进行采样，那么您应该创建一批具有 50%/50% 分布的示例

<小时/>

it's possible that running multiple epochs might make it learn some uncommon cases better.

我不同意，多次使用同一个示例总是比生成新的未知示例更糟糕。但是，您可能希望随着时间的推移生成越来越难的示例，以使您的网络在不常见的情况下变得更好。