c++ - 我的神经网络学习 sin x 而不是 cos x

Question

我已经构建了自己的神经网络，但我遇到了一个奇怪的问题。

该网络是一个非常简单的前馈 1-N-1 网络，具有反向传播学习功能。使用 Sigmoid 作为激活函数。

我的训练集是用 [-PI, PI] 和它们的 [0,1] 缩放正弦值之间的随机值生成的(这是因为“Sigmoid-net”只产生 [0,1] 和未缩放之间的值正弦函数产生 [-1,1] 之间的值)。

有了这个训练集，网络设置为 1-10-1，学习率为 0.5，一切都很好，网络学习了它应该的 sin-function。但是.. 如果我以同样的方式为 COSINE 函数做所有事情，网络将不会学习它。没有任何隐藏层大小或学习率的设置。

有什么想法吗？我错过了什么吗？

编辑: 我的问题似乎与 this 相似小程序。它似乎不会学习正弦函数，除非首先为权重教授一些“更简单”的东西(比如 1400 个二次函数周期)。小程序中的所有其他设置都可以保留原样。因此，在正弦或余弦的情况下，在找到解决方案之前，权重似乎需要一些提升到至少部分正确的方向。这是为什么？

Answer 1

我正在努力看看它是如何工作的。

据我所知，您有 1 个输入，一层中的 N 个节点，然后是 1 个输出。因此网络隐藏层中的任何节点之间没有区别。假设您有一个输入 x 和一组权重 w_i。然后输出节点 y 将具有值:

y = Σ_i w_i x

= x 。 Σ_i w_i

所以这总是线性的。

为了让节点能够以不同的方式学习，它们必须以不同的方式连接和/或可以访问不同的输入。因此，您可以提供值的输入、值的平方根(给出一些比例效应)等，并将不同的隐藏层节点连接到不同的输入，我怀疑无论如何您至少还需要一个隐藏层。

神经网络并不神奇。它为加权和生成一组特定的权重。由于您可以推导出一组权重来近似正弦或余弦函数，因此您必须了解神经网络需要哪些输入才能获得成功。

一个明确的例子:Taylor series的指数函数是:

exp(x) = 1 + x/1! + x^2/2! + x^3/3! + x^4/4! ...

因此，如果您提供 6 个输入音符，其中包含 1、x¹、x² 等，那么一个神经网络只会将每个输入接收到一个对应的节点，并乘以它通过它的权重然后将所有这些输出馈送到输出节点将能够进行指数的 6 项泰勒展开:

in     hid     out

1 ---- h0 -\
x   -- h1 --\
x^2 -- h2 ---\
x^3 -- h3 ----- y
x^4 -- h4 ---/
x^5 -- h5 --/

虽然不是神经网络，但您明白了。

在泰勒级数的维基百科页面的下方，有 sin 和 cos 的扩展，它们分别以 x 的奇次幂和 x 的偶次幂给出(想想看，sin 是奇数，cos 是偶数，并且是的，就是这么简单)，所以如果你提供 x 的所有幂，我猜 sin 和 cos 版本看起来非常相似，交替使用零权重。 (sin: 0, 1, 0, -1/6..., cos: 1, 0, -1/2...)