machine-learning - 输入为 0 的神经网络

Question

假设您有一个带有 Sigmoid 的神经网络。它有一个输入 x，因此节点会将 tanh⁡x 输出到连接。然后连接将输出 w*tanhx，其中 w 是连接的权重。

问题是，如果输入为 0 而期望输出应该类似于 1 该怎么办？如果输入为 0，则连接的输出将为 w*tanh0=0。因此，如果输入为 0，那么无论您添加多少个节点或连接，或者连接上的权重有多少，输出都将始终为 0。

如何创建一个简单的网络，其中输入 0 会给出 0 以外的值？

Answer 1

旁白

需要注意的一点是，每一层的函数应采用以下形式:

z = 转置(W) * X
输出 = tanh(z)

在传递给传递函数 (tanh) 之前，您将乘以权重向量。但这并不能回答您的问题或解决您的问题。

第一种方法

要回答您的问题，您应该在输入中添加一个偏置单元。实现此目的的一种方法是使用常量输入 1 作为输入。

因此，如果您有伪代码:number_of_inputs = 10，那么您应该使用伪代码:number_of_inputs = 11;输入[10] = 1。

这允许您的输出函数具有与上面相同的形式。

第二种方式

您还可以在传递函数之外添加偏置单元。也就是说，您的输出可能采用以下形式:

z = 转置(W) * X
输出 = tanh(z) + b

b 的更新规则将基于您损失的导数，而不是您转账的导数。