machine-learning - 神经网络 : why do we need an activation function?

Question

我尝试运行一个没有任何激活函数的简单神经网络，并且网络没有收敛。我使用 MSE 成本函数进行 MNIST 分类。

但是，如果我将修正线性激活函数应用于隐藏层(输出 = max(0, x)，其中 x 是加权和)，那么它会很好地收敛。

为什么消除前一层的负输出有助于学习？

Answer 1

线性与非线性

基本感知器仅仅是其输入信号的加权线性组合。一层感知器仍然是线性回归器/分类器。只有使函数逼近器(神经网络)本身非线性，网络才能解决非线性问题。这可以通过对各层的输出信号应用非线性激活函数(例如 ReLU 函数)来完成。

修正线性单元

当输出信号仅为 max(0, y) 时，ReLU 为什么是非线性激活函数？答案在于取消负值(用 0 代替)。由于无法用直线描述 ReLU 函数曲线，因此 ReLU 不是线性激活函数。