machine-learning - 构建决策树时没有剩余示例的情况

Question

我正在阅读《人工智能现代方法》第三版中的决策树主题(第 720 页)。本书描述了我们通过选择属性来分割训练集(示例)后可能发生的一些情况。其中提到的案例之一是

If there are no examples left, it means that no example has been observed for this combination of attribute values, and we return a default value calculated from the plurality classification of all the examples that were used in constructing the node’s parent.

据我所知，多数分类意味着多数决定。但我无法理解上述情况，即什么时候会发生。上述情况成立的一些决策树示例。

Answer 1

将问题视为构建出现次数的二维表，其中列代表要考虑的某些特征或类，行代表其他变量的特定配置。

例如，

X Y Z | class counts
------+-------------
1 1 1 | ...
1 1 2 | ...
1 1 3 | ...

该表表示训练集的联合分布。

X、Y 和 Z 的特定组合(例如 1,3,1)可能在训练期间未曾见过。你拥有的变量越多，你就越有可能遇到看不见的组合。如果有 10 个变量，每个变量有两种状态，那么这些变量有 1024 种可能的配置。如果每个状态有 3 个状态，则配置数量将为 3 ^ 10，依此类推。

坦率地说，我会使用 1/numberCols 来表示任何缺少行的特定列，因为您实际上没有任何相关信息。您可以对每列使用 1/Sum(rows)，但这可能会不必要地使结果产生偏差。取决于数据。