python - 计算 sigmoid 最快的方法是什么？

Question

我正在尝试实现一个循环神经网络，其中选择 sigmoid 作为激活函数。

我的第一个原型(prototype)是用 python 编写的，我发现 sigmoid 在某种程度上是程序的瓶颈，约占总运行时间的 30%。

# x is a fixed size vector here
def sigmoid(x):
    return numpy.reciprocal(1.0 + numpy.exp(-x))

所以我尝试了另一种实现方式

def sigmoid(x):
    y = numpy.exp(x)
    return y/(1+y)

并且令人惊讶地发现它比第一种方法快 50%。

我也尝试了第三种方法

def sigmoid(x):
    return (1.0+numpy.tanh(x/2.0))/2.0

，比第一种方法稍慢。

后来我用 C++ 测试了所有 3 个实现。前两种方法几乎没有任何区别，tanh 稍快(~5%)。为什么会这样？我在想 numpy 是用 C++ 编写的。

Answer 1

基于 this看来你最好的选择是 scipy.special.expit