machine-learning - 神经网络(非线性)

Question

在讨论神经网络时，我对线性/非线性术语的使用感到有些困惑。谁能帮我澄清这三点:

1. 神经网络中的每个节点都是输入的加权和。这是输入的线性组合。因此，每个节点的值(忽略激活)由某个线性函数给出。我听说神经网络是通用函数逼近器。这是否意味着，尽管每个节点内包含线性函数，但整个网络也能够近似非线性函数？有没有任何明确的例子说明这在实践中是如何运作的？
2. 激活函数应用于该节点的输出，以压缩/转换输出，以便进一步传播到网络的其余部分。我将激活函数的输出解释为该节点的“强度”是否正确？
3. 激活函数也称为非线性函数。非线性这个词从何而来？因为激活的输入是节点输入线性组合的结果。我认为它指的是像 sigmoid 函数这样的函数是非线性函数的想法？为什么非线性激活很重要？

Answer 1

1 线性

只有当使用非线性激活函数压缩节点的输出信号时，神经网络才是非线性的。完整的神经网络(具有非线性激活函数)是一个任意函数逼近器。

奖励:应该注意的是，如果您在多个连续层中使用线性激活函数，您也可以将它们修剪为单个层，因为对他们来说是线性的。 (权重将更改为更极端的值)。使用线性激活函数创建多层网络无法模拟比单层网络更复杂的函数。

2 激活信号

解释被压缩的输出信号可以很好地解释为该信号的强度(从生物学角度来说)。认为将输出强度解释为模糊逻辑中的置信度可能是不正确的。

3 个非线性激活函数

是的，你说得对。输入信号及其各自的权重是线性组合。非线性来自您对激活函数的选择。请记住，线性函数被绘制为一条线 - sigmoid、tanh、ReLU 等可能无法用单条直线绘制。

为什么我们需要非线性激活函数？

大多数函数和分类任务可能最好用非线性函数来描述。如果我们决定使用线性激活函数，我们最终会得到一个复杂函数的更粗糙的近似。

通用逼近器

您有时可以在论文中读到神经网络是通用逼近器。这意味着“完美”网络可以适合您可以投入的任何模型/函数，尽管配置完美网络(#nodes 和 #layers++)是一项艰巨的任务。

了解更多有关影响的信息，请访问 this Wikipedia page .