neural-network - 阶跃函数与 Sigmoid 函数

Question

我不太明白为什么 sigmoid 函数被认为比阶跃函数更有用(对于神经网络)......希望有人可以为我解释这一点。提前致谢。

Answer 1

(Heaviside) step function通常仅在 single-layer perceptrons 内有用，一种早期类型的神经网络，可用于在输入数据为 linearly separable 的情况下进行分类.

然而，multi-layer neural networks or multi-layer perceptrons更有趣，因为它们是通用函数逼近器，并且它们能够区分不是线性可分的数据。

使用 backpropapagation 训练多层感知器.反向传播的要求是 differentiable激活函数。那是因为反向传播使用 gradient descent在这个函数上更新网络权重。

Heaviside 阶跃函数在 x = 0 处不可微，其导数在其他地方为 0。这意味着梯度下降将无法在更新权重方面取得进展，反向传播将失败。

sigmoid or logistic function没有这个缺点，这解释了它作为神经网络领域内的激活函数的有用性。