machine-learning - 仅使用一个特征构建学习模型有意义吗？

Question

为了提高 adaboost 分类器(用于图像分类)的准确性，我使用遗传编程来导出新的统计度量。每次生成新特征时，我都会通过训练 adaboost 分类器并测试其性能来评估其适应性。但我想知道这个程序是否正确；我的意思是使用单个特征来训练学习模型。

Answer 1

您可以针对一项功能构建模型。我认为，“一个功能”只是指 R 中的一个数字(否则，这将是完全“传统”的用法)。然而，这意味着您正在一维空间中构建一个分类器，因此 - 许多分类器将是多余的(因为这实际上是一个简单的问题)。更重要的是 - 检查是否可以使用特定维度正确分类对象并不意味着一旦您使用它们的组合，它就是一个好/坏的功能。特别是可能出现以下情况:

• 许多功能可能会“发现”数据中的相同现象，因此 - 每个功能单独都可以产生良好的结果，但一旦组合起来 - 它们不会比每个功能更好(因为它们只是捕获 相同的信息)
• 功能在组合使用之前可能毫无用处。有些现象只能在多维空间中描述，如果您只分析一维数据 - 您将永远不会发现它们的真正值(value)，作为一个简单的例子，考虑四个点 (0,0),( 0,1),(1,0),(1,1) 使得 (0,0),(1,1) 是一个类的元素，其余部分是另一个类的元素。如果您分别查看每个维度 - 那么最好的准确度是 0.5 (因为您总是在完全相同的点中拥有两个不同类别的点 - 0 和 1)。一旦组合 - 您可以轻松地将它们分开，因为这是一个xor问题。

综上所述 - 在一维空间中构建分类器是可以的，但是:

• 无需“重型机械”即可解决此类问题。
• 结果不应该用作特征选择的基础(或更严格地说 - 这可能非常具有欺骗性)。