machine-learning - 具有模式识别和预测输入的 MLP : Bad Idea?

Question

这是关于 Ward Systems NeuroShell 2 中的 3 层 MLP(输入、隐藏、输出)

我更愿意将这些输入层类(PR 和 F)分成 2 个独立的网络，每个网络都有自己的隐藏层，然后馈送到单个输出层 - 这将是一个 3 层网络。可能有一个 4 层版本，使用新的隐藏层来组合 2 个网络:

1) 输入(分为 F 类和 PR 类)2) Hiddens(分为F级和PR级)3)Hiddens(全连接“混合”层)4)输出

这些结构将立即进行训练，而不是训练两个网络，获取输出/预测，然后对这两个数字求平均值。

我发现虽然平均输出有效，但“让网络来做”效果更好。但这需要层分区，而我的平台(NeuralShell 2)则不能。我从来没有读过一篇论文，其中有人试图做得比平均更好。

仅供引用，PR 与 F 输入的比率为 10:1。

关于网络的大多数讨论都是预测，通常是 10 个输入的量级。模式识别的数量更多，数百到数千甚至更多。

事实上，在搜索研究时，这两类问题实际上是相互排斥的。

所以我的结论是在一个网络中同时拥有两种类型的结构可能是一个非常糟糕的主意。

同意吗？

Answer 1

这不是一个坏主意!事实上，这种方法是一种非常常见、使用非常频繁的方法，您只是错过了一些 secret 术语。

基本上，您在这里尝试做的是整体预测。解决这个问题的最佳方法是为问题的两半训练两个完全独立的网络。然后使用这些输出作为新神经网络的输入。

该字段称为 ensemble learning而且结果往往相当不错。

就您混合模式识别和预测的问题而言，如果不了解您正在使用的数据的更多细节，确实不可能对此进行调用，但仅仅因为人们还没有尝试过，就无法做到这一点这意味着你也不应该。