c# - 无法理解ID3算法

Question

维基百科确实有 ID3 algorithm 的定义但它非常复杂。是否有任何链接以易于理解的方式解释了这个概念。

维基百科有很多复杂的理论和公式。我确实了解什么是熵。但是我不明白什么是Gain。您的基本解释或您对一些好的链接的指示肯定会对我有所帮助。

Answer 1

我认为 Wiki 页面基本上说明了这个概念，尽管一些示例会有所帮助。你可以查看 the U Florida page和 the ICL关于这个主题的页面。当涉及到此类主题(机器学习和数据挖掘)时，您应该始终考虑 reading materials by Andrew Moore @ CMU我发现这非常有帮助。

而且，这是我的两分钱:

熵表示消息中包含的信息(不确定性)的期望值。由于我们在这里考虑的是决策树，因此 Gain 是我们在属性上进行拆分时熵的差异(即原始熵与不同分支熵的加权平均值之间的差异)。由于这是减少的不确定性，这只是我们通过对该属性进行拆分获得的信息。

此外，我们在进行数据挖掘类(class)时使用了数据挖掘:基于教程的方法作为文本，这是一本很好且简单的书。