opencv - 如何计算神经网络输出层的二阶导数？

Question

我正在尝试为卷积神经网络实现随机对角 Levenberg-Marquardt 方法，以便反向传播学习权重。我是新手，对此很困惑，所以我的问题很少，希望您能帮助我。

1) 我如何根据两个输出计算输出层的二阶导数。由于我在一阶导数中，我必须从所需输出中减去输出并将其乘以输出的导数。但是在二阶导数中我该怎么做呢？

2)在卷积神经网络的MaxPooling层中，我在2x2窗口中选择最大值，并将其与权重相乘，现在是否必须通过激活函数？

有人可以给我解释一下如何在 opencv 中执行此操作，或者如何使用数学解释或任何显示数学的引用资料。提前致谢。

Answer 1

如果您已经计算了 Jacobian 矩阵(偏一阶导数矩阵)，那么您可以获得 Hessian(偏二阶导数矩阵)的近似值) 乘以 J^T*J(如果残差很小)。

您可以通过以下两个输出计算二阶导数:y 和 f(X) 以及 Jacobian 这样:

换句话说，选择 Hessian 近似 B 以满足:

在本文中，您可以找到更多相关信息。 Ananth Ranganathan: The Levenberg-Marquardt Algorithm