machine-learning - 神经网络如何提取特征

Question

我是神经网络新手。我在很多平台上遵循了一些教程，但有一件事我不明白。

在简单的多层感知器中:我们有输入层、本例中的隐藏层(神经元数量与输入层相同)和具有一个单元的输出层。

我们随机初始化隐藏层中单元的权重，但在一个小值范围内。现在，输入层与隐藏层完全连接。因此隐藏层中的每个单元都将接收相同的参数。他们将如何提取彼此不同的特征？

感谢您的解释!

Answer 1

We initialize the weights of the units in hidden layer randomly but in a range of small values. Now, the input layer is fully connected with the hidden layer. So each units in hidden layer are going to receive the same parameters. How are they going to extract different features from each other ?

实际上每个神经元不会有相同的值。要获得隐藏层的激活，您可以使用矩阵方程 Wx + b 在这种情况下，W 是形状的权重矩阵(隐藏大小，输入大小)。 x是形状隐藏层的输入向量(Input Size)，b是形状的偏差(Hidden Size)。这会导致形状(隐藏尺寸)的激活。因此，虽然每个隐藏神经元都会“看到”相同的 x 向量，但它将采用 x 与其自己的随机行向量的点积，并添加自己的随机偏差，这将为该神经元提供不同的值。 W 矩阵和 b 向量中包含的值是经过训练和优化的值。由于他们有不同的起点，他们最终会通过梯度下降学习不同的特征。