machine-learning - 重新训练 tensorflow 模型

Question

我正在使用使用 tensorflow 编写的 NeuroNER 训练自定义命名实体识别 (NER) 模型。我能够训练模型并且其性能良好但是当我根据新的观察重新训练它时，它会显示错误的结果，它会纠正它们，但它会影响/忘记一些以前的观察，而它会显示正确的结果。

我想要在线重新训练。我尝试使用 stanfordNLP 、 Spacy 和现在的tensor-flow。请建议一种更好的方法来实现预期目标。

谢谢

Answer 1

我认为这个问题背后存在误解。当你训练模型时，你会调整一组参数，有时是数百万个参数。然后您的模型将学习适应这些数据。

神经网络的问题是他们可能会忘记。这听起来很糟糕，但实际上正是它真正强大的原因:它学会忘记无用的东西。

也就是说，如果您重新训练，您可能应该:- 只运行几个纪元，否则模型将过度拟合新数据集，从而忘记其他所有内容- 学习更大的数据集，即过去+新数据，将确保不会忘记任何内容- 可能使用更大的设置(就隐藏层大小或层数而言)，因为您不能无限地希望通过相同的设置了解更多信息。

我不是在线培训方面的专家，但这不是您不费吹灰之力就能得到的。事实上，在实践中这是很难做到的。当您“只是”继续训练时，这远非默认行为。

希望有帮助。