function - 神经激活函数 - Logistic/Tanh/等之间的差异

Question

我正在编写一些基本的神经网络方法 - 特别是激活函数 - 并且已经达到了我垃圾数学知识的极限。我理解各自的范围(-1/1)(0/1)等，但不同的描述和实现让我感到困惑。

具体来说，sigmoid、logistic、双极 sigmoid、tanh 等

sigmoid 是否简单地描述了函数的形状而不考虑​​范围？如果是这样，那么 tanh 是一个“sigmoid 函数”吗？

我在一篇论文中看到了“双极 sigmoid”与“tanh”的比较，但是我已经看到这两个函数使用相同的代码实现(在不同的库中):

(( 2/(1 + Exp(-2 * n))) - 1)。它们是完全相同的东西吗？

同样，我也见过使用相同代码实现的 logistic 和 sigmoid 激活:

( 1/(1 + Exp(-1 * n)))。这些也等价吗？

最后，它在实践中有那么重要吗？我在维基上看到 plot of very similar sigmoid functions - 可以使用其中任何一个吗？有些看起来可能比其他的计算速度要快得多。

Answer 1

逻辑函数:e^x/(e^x + e^c)

逻辑函数的特殊(“标准”)情况:1/(1 + e^-x)

双极乙状结肠:从未听说过。

Tanh:(e^x-e^-x)/(e^x + e^-x)

Sigmoid 通常指的是形状(和极限)，所以是的，tanh 是一个 sigmoid 函数。但在某些情况下，它特指标准物流功能，因此您必须小心。是的，您可以使用任何 sigmoid 函数并且可能效果很好。

(( 2/(1 + Exp(-2 * x))) - 1) 相当于 tanh(x)。