machine-learning - 创建决策树和分割属性时遇到问题吗？

Question

因此，我尝试拆分具有可能值(蓝色、绿色、红色、橙色、粉色)的属性“颜色”。

我正在 split entropy值，最佳分割可以是 Multi-Way 5、Multi-Way 4、Multi-Way 3 或 Binary。例如:

5: (Blue, Green,Red,Orange,Pink)

4: (Blue, Green), (Red), (Orange), (Pink)
   (Green,Pink), (Blue),(Red),(Orange)

3: (Red,Orange), (Blue,Green), (Pink)
   (Red,Blue), (Green, Orange), (Pink)

2: (Blue,Green,Red), (Orange,Pink)
   (Pink), (Blue, Green, Red, Orange)

等等。但是我怎样才能列出所有可能的 split 呢？有我可以使用的特定算法吗？或者我怎么知道有多少种最大可能的组合？

任何帮助将不胜感激，谢谢!

Answer 1

根据熵(信息增益)的最佳分割始终是 5。

回想一下，当您根据属性进行拆分时，您可以获得有关 Y 的信息，或者如果它们是独立的，则不存在信息增益，即每次拆分的信息增益都大于等于零。因此 IG(cases 2:4)<= IG(Case 1) as case 2,3,4 可以通过添加进一步的分割将其变为 case 1，这样只能添加信息而不会丢失信息。

对于分割 >=0 的 IG，请参阅:Can the value of information gain be negative? .

一般来说，在决策树/RF 中，您尝试找到为属性提供最高 IG 的单个分割，然后比较属性并选择一个。