machine-learning - 为什么 ReLU 是非线性激活函数？

Question

据我了解，在深度神经网络中，我们在应用权重(w)和偏差(b)后使用激活函数(g)(z := w * X + b | a := g(z))。。所以有一个复合函数(g o z)和激活函数使得我们的模型可以学习线性函数以外的函数。我发现 Sigmoid 和 Tanh 激活函数使我们的模型非线性，但我很难看到 ReLu(从 0 和 z 中取出最大值)可以使模型非线性......

假设如果每个 Z 始终为正，那么就好像没有激活函数......

那么为什么 ReLu 会让神经网络模型变得非线性？

Answer 1

决定一个函数是否是线性的当然不是一个意见或争论的问题；有一个非常简单的definition线性函数，大致为:

f(a*x + b*y) = a*f(x) + b*f(y)

对于每个 x & y在函数域和 a & b常数。

“对于每个”的要求意味着，如果我们能够找到上述条件不成立的单个示例，那么该函数就是非线性的。

为简单起见，假设 a = b = 1 ，让我们试试 x=-5, y=1与 f是 ReLU 函数:

f(-5 + 1) = f(-4) = 0
f(-5) + f(1) = 0 + 1 = 1

所以，对于这些x & y (事实上​​对于每个 x 和 y 与 x*y < 0 )条件 f(x + y) = f(x) + f(y)不成立，因此该函数是非线性的......

事实上，我们可能能够找到满足线性条件的子域(例如 x 和 y 在这里要么为负，要么为正)，这就是定义某些函数的原因(例如ReLU)为piecewise-linear ，但仍然是非线性的。

现在，公平地回答你的问题，如果在特定应用中，输入总是要么全是正，要么全是负，那么是的，在这种情况下，ReLU 实际上最终会表现得像线性函数。但对于神经网络来说，情况并非如此，因此我们确实可以依靠它来提供必要的非线性......