machine-learning - 在 Accord.Net 中训练神经网络后测试性能不一致/不同/错误

Question

我正在使用 Accord.Net 训练弹性反向传播神经网络，以获得一组特征的评分。

网络非常简单，具有:

• 26 个输入

• 1 个隐藏层，3 个节点

• 1 个输出

我正在训练:

• Sigmoid函数
• 随机初始化
• 训练集 3000 个示例
• 验证集 1000 个示例

每次运行的学习曲线看起来都略有不同，但这是平均情况:

我的问题

如果我使用相同的参数运行训练 5 次，并在交叉验证集上验证网络，我会得到 5 个不同的 F1 分数，介于 88-91% 之间。因此很难决定何时停止训练并采用最终算法。这是正常的吗？因此，如果我想部署，我必须运行训练 X 次，并在我认为达到最佳结果后停止？

Answer 1

神经网络随机初始化权重，训练后会生成不同的网络，从而给你不同的性能。虽然训练过程是确定性的，但初始值却不是!因此，您可能会达到不同的本地最小值，或者停留在不同的地方。