machine-learning - scikitlearn 如何实现线性搜索？

Question

在 this section关于梯度提升的文档，它说

Gradient Boosting attempts to solve this minimization problem numerically via steepest descent: The steepest descent direction is the negative gradient of the loss function evaluated at the current model F_{m-1} which can be calculated for any differentiable loss function:

Where the step length \gamma_m is chosen using line search:

我理解线搜索的目的，但我不理解算法本身。我通读了source code ，但仍然没有点击。如果有解释，我们将不胜感激。

Answer 1

实现取决于初始化 GradientBoostingClassifier 实例时选择的损失函数(例如使用此函数，回归部分应该类似)。默认损失函数为'deviance'并实现了相应的优化算法here 。在_update_terminal_region函数中，仅一步实现了简单的牛顿迭代。

这是你想要的答案吗？