machine-learning - 在 2 个类别上使用熵没有信息增益吗？

Question

我有一个非常随机的群体，我正在尝试使用二元决策树进行分割。

Population probability
TRUE 51%
FALSE 49%

因此熵为 1(四舍五入为 3)。因此，对于任何特征，熵也将为 1(相同)，因此没有信息增益。

我这样做对吗？在我学习它的过程中，我没有遇到过任何说熵对于 2 个类没有用的事情

Answer 1

熵/信息增益不太取决于类的分布，而是取决于用于表征数据集中实例的特征中包含的信息。例如，如果您有一个特征，对于 TRUE 类始终为 1，对于 FALSE 类始终为 2，则该特征将具有最高的信息增益，因为它允许您完美区分这两个类。

如果您获得的信息增益非常小，则表明特征中包含的信息对于分离您的类没有用处。在这种情况下，您需要找到更多信息丰富的特征。