encoding - 决策树中的香农熵度量

Question

为什么在决策树分支中使用香农熵度量？

Entropy(S) = - p(+)log( p(+) ) - p(-)log( p(-) )

我知道这是衡量否的标准。编码信息所需的位数；分布越均匀，熵就越大。但我不明白为什么它如此频繁地应用于创建决策树(选择分支点)。

Answer 1

因为您想问的问题可以为您提供最多的信息。目标是最大限度地减少树中决策/问题/分支的数量，因此您从能够为您提供最多信息的问题开始，然后使用以下问题来填写详细信息。