algorithm - 快速 sigmoid 算法

Question

sigmoid函数定义为

我发现使用 C 内置函数 exp() 来计算 f(x) 的值很慢。有没有更快的算法来计算f(x)的值？

Answer 1

您不必在神经网络算法中使用实际的、精确的 sigmoid 函数，但可以将其替换为具有相似属性但计算速度更快的近似版本。

例如可以使用“快速sigmoid”函数

f(x) = x / (1 + abs(x))

如果 f(x) 的参数不接近于零，则使用 exp(x) 的级数展开的第一项不会有太大帮助，并且您如果参数“大”，则对 sigmoid 函数进行级数展开会遇到同样的问题。

另一种方法是使用表查找。也就是说，您可以针对给定数量的数据点预先计算 sigmoid 函数的值，然后根据需要在它们之间进行快速(线性)插值。