neural-network - 激活函数 - 神经网络

Question

我在空闲时间使用神经网络。
我已经用神经网络开发了一个简单的异或运算。
但我不知道什么时候应该使用正确的激活函数。

有什么技巧还是只是数学逻辑？

Answer 1

激活函数有很多选择，例如identity、logistic、tanh、Relu等。
激活函数的选择可以基于梯度计算(反向传播)。例如。逻辑函数总是可微的，但是当输入值很大时它有点饱和，因此减慢了优化的速度。在这种情况下，Relu 比逻辑更受欢迎。
以上只是激活函数选择的一个简单例子。这真的取决于实际情况。
此外，我不认为 XOR 神经网络中使用的激活函数在更复杂的应用中具有代表性。