machine-learning - 激活函数的导数与偏导数。损失函数

Question

人工智能中的一些术语让我感到困惑。反向传播中使用的导数函数是激活函数的导数还是损失函数的导数？

这些术语令人困惑:行为的衍生品。函数，偏导数。损失函数？？

我仍然没有得到正确的结果。

Answer 1

优化模型时，您需要定义损失函数。这通常代表某些训练数据的错误。

通常使用基于梯度的优化来最小化此错误。通常是随机梯度下降 (SGD) 和相关方法(Adam、Adagrad 等)。

损失函数的梯度是由损失相对于模型中每个权重的偏导数组成的向量。

在每次迭代中，权重都会根据梯度方向进行更新(记住我们正在最小化)。

我猜你可能会感到困惑的原因是因为由于链式法则，在计算损失函数的梯度时，需要对激活函数进行微分。但请记住，这是因为链式法则。