machine-learning - 为什么我们在卷积神经网络中的卷积层之后使用激活函数？

Question

我是机器学习的新手，我对卷积神经网络不了解的一件事是，这就是为什么我们在卷积层之后执行激活。

Answer 1

因为一个卷积后面跟着一个卷积就是一个卷积。因此，不插入某种非卷积层(例如 relu 层)的任意深度的卷积神经网络基本上等同于只有一层的卷积神经网络。这是因为组合线性变换是线性的:

y = m1*(m2*x + b2) + b1
  = m1 * m2 * x + m1 * b2 + b1

这只是一个线性函数...当你可以只学习一个并且它完全相同时，为什么还要学习两个呢？这种逻辑甚至适用于局部线性函数(卷积是局部线性的)。因此，对于任一卷积神经网络(也包括普通神经网络)，我们必须在线性层之间做一些非线性的事情。一个极其简单的非线性函数是 relu这是一个基本的“弯曲”。