machine-learning - 决策树回归背后的数学？

Question

我试图理解决策树(回归)背后的数学原理。我遇到了两篇文章，它们都以不同的方式解释了如何在回归树中完成分割。谁能指出哪一个是正确的，或者两者都是相似的，只是方法不同？

1. https://www.saedsayad.com/decision_tree_reg.htm
2. https://www.python-course.eu/Regression_Trees.php

谢谢

Answer 1

两者都是正确的。方法 1 使用标准差来分割节点，方法 2 使用方差。由于目标值是连续的，因此同时使用 s.d 和方差。

Variance is one of the most commonly used splitting criteria for regression trees.

方差
方差是与平均值的平方差的平均值。要计算方差，首先计算每个点与均值之间的差；然后，对结果进行平方和平均。

标准偏差
标准差是一种统计量，通过使用方差的平方根来查看一组数字与平均值的距离。方差的计算使用平方，因为它对离群值的权重比非常接近平均值的数据更重。此计算还可以防止高于平均值的差异抵消低于平均值的差异，这有时会导致方差为零。