algorithm - 在决策树中，如果我有一个有多个分支的节点，我应该使用什么日志基础？

Question

下面的问题让我很困惑。你能帮我吗？(最好是找到一些学术引用资料。)

我们通常使用base-2 log function来计算决策树中的熵，这是因为大多数节点只允许二进制分支吗？

如果我想要一个有很多分支的节点，log2在理论上是否仍然有效？

比如在Xgboost中，训练集的输入应该是矩阵的形式，我想那意味着我们只能把数值作为输入。

非常感谢!

Answer 1

几乎可以肯定对数以 2 为底，因为我们喜欢以位为单位测量熵。这只是一个约定，有些人使用基数 e 代替(nats 而不是 bits)。

我不能谈论 Xgboost，但对于离散决策问题，熵作为一种性能度量发挥作用，而不是直接作为树结构的结果。您可以仅根据熵的定义计算任何拆分(使用任何分支因子)的信息增益。

如果您正在寻找有关信息论和概率的书籍，我强烈推荐 MacKay (提供完整的 PDF)。他涵盖了相当多的机器学习和统计学。但是不包括决策树。