neural-network - 用神经网络近似z = y ^ 2 + x ^ 2

Question

一个神经网络应多快才能近似z = y ^ 2 + x ^ 2函数？
当我也将输入设为负数并且所有权重变得非常小时(* 10 ^ -16!如果使用2x40x1)或全部变为相同的数字(例如-0.16和0.16如果使用2x20x1)，我的似乎就很难了。我每个时代使用2000个输入示例。

但是，如果所有输入都为正，则似乎可以学习。这意味着什么？

您认为每个时期，架构和时期数应使用多少对输入，您认为呢？

我使用的是反向传播神经网络，没有带有1个隐藏层的偏置(我的输入都在-1和+1之间，并且期望的输出[0，1])。

谢谢，

Answer 1

输入为正时，该函数是单调的。一旦越过原点，情况便不再如此。

我认为您可能需要允许非零偏差才能开发具有非单调输出的神经网络。

另外，请确保您的实现没有进行有限优化，许多优化算法都采用了非负假设。