scikit-learn - Freidman mse 和 mse 和有什么不一样？

Question

我正在寻找 GradientBoostingClassifier在 sklearn .然后，我发现有 3 种标准。弗里德曼 mse，mse，mae。sklearn提供的描述是:

The function to measure the quality of a split. Supported criteria are “friedman_mse” for the mean squared error with improvement score by Friedman, “mse” for mean squared error, and “mae” for the mean absolute error. The default value of “friedman_mse” is generally the best as it can provide a better approximation in some cases.

我不明白有什么不同？
谁让我知道？

谢谢!

Answer 1

根据 scikit-learn 源代码，这两个标准之间的主要区别是 impurity-improvement方法。 MSE/FriedmanMSE 准则计算当前节点的杂质并尝试减少(改善)它，杂质越小越好。
均方误差杂质标准。

MSE = sum_square_of_left / w_l + sum_square_of_right / w_r

source
另一方面，FriedmanMSE 杂质标准使用以下来提高纯度:

diff = w_r * total_left_sum - w_l * total_rigth_sum
improvement = diff**2 / (w_r * w_l)

Note: w_r (right) is for total left sum and visa versa.

您可以使用更好的符号简化以下等式，该符号在弗里德曼出版的 paper 中提供。本身(方程 35)。
其中说
改进 = (w_l * w_r)/(w_l + w_r) * (mean_left - mean_right) ^ 2

Which w_l, w_r are the corresponding sum of weights for respective left or right part.

source
为 left 赋予意义和 right关键字，将整个系统想象成一个数组(例如 samples[start: end])，例如 left表示当前节点的左元素。