python - 当神经网络在 PyBrain 的回归上给出相同的输出时，要使用什么激活函数或进行修改？

Question

我有一个神经网络，具有一个输入、三个隐藏神经元和一个输出。我有 720 个输入和相应的目标值，540 个用于训练，180 个用于测试。当我使用 Logistic Sigmoid 或 Tan Sigmoid 函数训练网络时，我在测试时得到相同的输出，即所有 180 个输出值都得到相同的数字。当我使用线性激活函数时，我得到 NaN，因为显然该值变得太高。

在这种情况下有没有可以使用的激活函数？或者还有什么需要改进的地方？如果需要，我可以用详细信息和代码更新问题。

Answer 1

当以任意尺度(例如在您的情况下大约在 0 到 1000 之间)输入输入数据时，神经网络并不稳定。如果您的输出单位是 tanh，它们甚至无法预测逻辑单位范围 -1 到 1 或 0 到 1 之外的值!

您应该尝试重新定位/缩放数据(使其均值为零和单位方差 - 这在数据科学社区中称为标准缩放)。由于这是一种无损转换，一旦您训练了网络并根据数据进行了预测，您就可以恢复到原始比例。

此外，线性输出单元可能是最好的，因为它不对输出空间做出任何假设，而且我发现 tanh 单元在低维输入/隐藏/输出网络中的循环神经网络上表现更好。