machine-learning - 为什么使用函数的导数而不是实际函数来计算局部最小值？

Question

在机器学习回归问题中，为什么计算导数函数而不是实际函数的局部最小值？

示例:http://en.wikipedia.org/wiki/Gradient_descent

应用梯度下降算法来寻找函数$$的局部最小值

f(x)=x^4−3x^3+2, ----(A)

带导数

f'(x)=4x^3−9x^2. ----(B)

在这里，为了使用梯度下降算法找到函数 (A) 的局部最小值，他们使用了 (A) 的导函数，即函数 (B)。

Answer 1

原因是，因为函数是凹的(如果你正在进行最大化，则函数是凸的——这些问题是等效的)，所以你知道有一个最小值(最大值)。这意味着存在一个梯度为零的点。有一些技术使用函数本身，但如果您可以计算梯度，您可以更快地收敛，因为您可以认为梯度会提供有关您距离最佳值有多远的信息。 p>

除了梯度下降之外，还有一种称为 Newton's method 的优化方法。 ，这需要计算二阶导数(多元优化中的 Hessian 矩阵)。这收敛得更快，但要求您能够反转 Hessian，如果您有很多参数，这是不可行的。所以有一些方法可以解决这个问题，计算 limited memory approximation of the Hessian 。这些方法收敛得更快，因为它们使用有关梯度曲率的信息:这是一个简单的权衡，您对要优化的函数了解得越多，找到解决方案的速度就越快。