machine-learning - 给定足够的隐藏神经元，神经网络可以逼近任何函数吗？

Question

我知 Prop 有任意数量隐藏层的神经网络可以近似非线性函数，但是，它可以近似:

f(x) = x^2

我想不通怎么会这样。这似乎是神经网络的一个非常明显的局限性，可能会限制它的功能。例如，由于这一限制，神经网络可能无法正确近似统计中使用的许多函数，例如指数移动平均线，甚至方差。

说到移动平均线，循环神经网络可以正确地近似吗？我了解前馈神经网络甚至单个线性神经元如何使用滑动窗口技术输出移动平均值，但是如果没有 X 数量的隐藏层(X 是移动平均大小)，循环神经网络将如何做到这一点？

另外，假设我们不知道原始函数f，它恰好获取最后500个输入的平均值，然后如果高于3则输出1，如果高于3则输出0如果不是的话。但暂时假装我们不知道这一点，它是一个黑匣子。

循环神经网络如何近似这一点？我们首先需要知道它应该有多少个时间步，但我们没有。也许 LSTM 网络可以，但即便如此，如果它不是简单的移动平均线，而是指数移动平均线怎么办？我认为即使是 LSTM 也做不到。

更糟糕的是，如果我们想要学习的f(x,x1)只是简单的

f(x,x1) = x * x1

这看起来非常简单明了。神经网络可以学习吗？我不明白怎么办。

我是否在这里遗漏了一些重要的东西，或者机器学习算法是否极其有限？除了神经网络之外，还有其他学习技术可以真正做到这一点吗？

Answer 1

要理解的关键点是紧凑:

神经网络(如多项式、样条曲线或径向基函数等任何其他近似结构)只能在紧集内近似任何连续函数。

换句话说，该理论指出，给定:

1. 连续函数f(x)，
2. 输入x、[a,b]和
的有限范围
3. 所需的近似精度ε>0，

那么存在一个神经网络，可以在[a,b]内的任何地方以小于ε的逼近误差来逼近f(x)>。

关于 f(x) = x² 的示例，是的，您可以在任何有限范围内使用神经网络来近似它:[-1, 1]、[0, 1000] 等。为了形象化这一点，想象一下您在 [-1,1 范围内近似 f(x) ] 带有 Step Function 。你能在纸上做吗？请注意，如果您将步骤设置得足够窄，您就可以获得任何所需的精度。神经网络近似f(x)的方式与此没有太大不同。

但同样，不存在具有有限数量参数的神经网络(或任何其他近似结构)可以对所有情况近似 f(x) = x² x 在 [-∞, +∞] 中。