machine-learning - 为什么神经网络有多层且每层有多个节点？

Question

我刚刚开始学习神经网络，到目前为止我对机器学习的了解只是线性和逻辑回归。根据我对后一种算法的理解，给定多个输入，学习算法的工作是为每个输入提出适当的权重，以便最终我得到一个多项式，该多项式要么描述线性回归的数据，要么就像逻辑回归的情况一样将其分开。如果我要在神经网络中表示相同的机制，根据我的理解，它会看起来像这样， 输入层有多个节点，输出层有单个节点。我可以将误差按比例反向传播到每个输入。因此最终我也得到了描述数据的多项式 X1W1 + X2W2+....XnWn 。对我来说，除了输入层之外，每层有多个节点似乎使学习过程并行，这样我就可以更快地得出结果。这几乎就像运行多个学习算法，每个算法都有不同的起点，看看哪个算法收敛得更快。至于多层，我不知道它对学习结果有什么机制和优势。

Answer 1

why do we have multiple layers and multiple nodes per layer in a neural network?

我们至少需要一个具有非线性激活的隐藏层才能学习非线性函数。通常，人们将每一层视为一个抽象级别。对于计算机视觉，输入层包含图像，输出层包含每个类别的一个节点。第一个隐藏层检测边缘，第二个隐藏层可能检测圆形/矩形，然后出现更复杂的图案。

有一个理论结果表明，如果该隐藏层具有足够的神经元，则仅具有一个隐藏层的 MLP 可以将每个感兴趣的函数拟合到任意低的误差范围。但是，参数数量可能比添加更多层要大得多。

基本上，通过在每层添加更多隐藏层/更多神经元，您可以向模型添加更多参数。因此，您允许模型适应更复杂的函数。然而，据我所知，还没有定量地了解添加一个进一步的层/节点究竟会带来什么。

在我看来，您可能想要对神经网络进行一般介绍。我推荐 [Tho14a](我的学士论文)的第 4.3 章和 4.4 章以及 [LBH15]。

[Tho14a] M. Thoma, “On-line recognition of handwritten mathematical symbols,” Karlsruhe, Germany, Nov. 2014. [Online]. Available: https://arxiv.org/abs/1511.09030

[LBH15] Y. LeCun, vol. 521, Y. Bengio, no. 7553, and G. Hinton, pp. 436–444, “Deep learning,” Nature, May 2015. [Online]. Available: http://www.nature.com/nature/journal/v521/n7553/abs/nature14539.html