python - 比较神经网络在两个特征子集上的结果

Question

我正在具有 24 个特征的多元时间序列数据集上运行 LSTM 模型。我使用几种不同的方法(方差测试、随机森林提取和额外树分类器)运行特征提取。不同的方法导致特征子集略有不同。我现在想在所有子集上测试我的 LSTM 模型，看看哪个能提供最佳结果。

我的问题是，我的 3 个模型的测试/训练 RMSE 分数都非常相似，每次运行模型时，我都会得到略有不同的答案。这个问题来自一个天真的人，仍在学习神经网络的复杂性，所以请帮助我理解:在这样的情况下，你如何确定哪种模型最好？你能为神经网络做种子吗？或者对一定数量的试验进行某种类型的平均？

Answer 1

既然您提到使用不同的特征提取方法，您只会得到略有不同的特征集，因此结果也相似。此外，由于您的 LSTM 模型也获得了几乎相似的 RMSE 值，因此这些模型能够很好地泛化并进行类似的学习，并从所有数据集中提取重要信息。

最佳模型取决于您 future 的数据、不同方法的计算时间和负载以及它们在生产中的持续情况。在神经网络中设置种子并不是一个好主意。基本思想是，无论模型如何开始，都应该能够达到最佳权重。如果您的模型总是得到相似的结果，在大多数情况下，这是一件好事。