machine-learning - 神经网络 : What does the input layer consist of?

Question

最终编辑:清理问题并接受 runDOSrun 的答案。 IVlad 的同样好，user3760780 的也非常有帮助。我建议阅读所有这三篇文章以及评论。 TLDR 的答案是，可能性#1 或多或少是正确的，但我的措辞非常糟糕。

神经网络中的输入层由什么组成？该层有什么作用？

类似的问题在这里Neural Networks: Does the input layer consist of neurons?但那里的答案并没有消除我的困惑。

就像上面问题中的发帖者一样，我对互联网上关于基本前馈网络的输入层的许多相互矛盾的说法感到困惑。

我将跳过相互矛盾的教程和文章的链接，并列出我可以看到的三种可能性。哪一项(如果有)是正确的？

1. 输入层将数据直接传递到第一个隐藏层，其中数据将乘以第一个隐藏层的权重。
2. 输入层在传递数据之前先通过激活函数。然后将数据乘以第一个隐藏层的权重。
3. 输入层有自己的权重，用于乘以传入数据。然后，输入层将数据通过激活函数，然后再传递。然后将数据乘以第一个隐藏层的权重。

谢谢!

编辑 1:为了进一步清晰起见，这是一张图像和一个示例。

Answer 1

在您的 3 个描述中，第一个最适合:

1. The input layer passes the data directly to the first hidden layer where the data is multiplied by the first hidden layer's weights.

标准多层感知器的输入层由单元组成(您可以将它们称为输入神经元，但我更喜欢使用术语单元，因为您期望神经元执行一些计算，但输入层的情况并非如此)您分配一个值(输入数据实例的一部分，或者机器学习术语中单个实例的特征值)，它们只是将该值提供给第一个隐藏层中的每个神经元，从而准确地产生您在图像中描绘的第一个案例。

为了更准确，我会将其改写为:

• 输入层的每个单元按照从上到下的顺序将其分配的值传递给第一个隐藏层的每个神经元。然后，每个隐藏层神经元将这些值 (x1, x2, ..., xm) 与其权重向量 (w1, w2, ..., wm) 相乘)，对相乘的值 (x1*w1 + x2*w2 + ... + xm*wm) 求和，将其激活函数应用于此总和(logistic、tanh、恒等函数)并返回值由激活函数计算到下一层。

因此，对于您的示例，隐藏层中最顶层的神经元将接收输入:

.5, .6

从输入层，它将计算并返回:

g(.4 * .5 + .3 * .6)

其中g是它的激活函数，可以是任何东西:

g(x) = x # identity function, like in your picture
g(x) = 1 / (1 + exp(-x)) # logistic sigmoid

在我看来，说权重也进入其中并不完全正确，因为它的权重是它自己的，但我想这种区别不是很重要；这当然不会影响结果。

你必须记住，这都是概念性的。在正确的实现中，您根本不会有任何实际的层，只有一些矩阵乘法。但他们将实现相同的概念。当试图理解某些东西时，您应该从引用基本概念开始。

2. The input layer passes the data through the activation function before passing it on. The data is then multiplied by the first hidden layer's weights.

这是不正确的，输入层仅返回分配给下一层中每个神经元的一些值。

您在哪里找到了一些引用资料？我很确定这样做不是标准做法。

3. The input layer has its own weights that multiply the incoming data. The input layer then passes the data through the activation function before passing it on. The data is then multiplied by the first hidden layer's weights.

再说一次，情况并非如此。它没有权重，也没有激活函数。