parallel-processing - 特征选择、特征提取、特征权重的区别

Question

我对“特征选择/提取器/权重”的含义以及它们之间的区别感到有些困惑。当我阅读文献时，有时我会感到迷茫，因为我发现这个词的使用非常松散，我主要关心的是——

当人们谈论特征频率、特征存在时 - 是特征选择吗？

当人们谈论诸如信息增益、最大熵之类的算法时 - 它仍然是特征选择吗？

如果我训练分类器 - 使用一个特征集，要求分类器注意文档中单词的位置作为示例 - 仍然会调用此特征选择吗？

谢谢
拉胡尔·迪格

Answer 1

拉胡尔-

所有这些都是很好的答案。我要提到的一件事是，选择和提取之间的根本区别与您处理数据的方式有关。

特征提取方法具有变革性——也就是说，您正在对数据应用转换，以将其投影到具有较低维度的新特征空间中。 PCA 和 SVD 就是这方面的例子。

特征选择方法根据一些标准从原始集合中选择特征，信息增益、相关性和互信息只是用于过滤掉不重要或冗余特征的标准。所谓的嵌入或包装方法可以使用专门的分类器来实现特征选择并同时对数据集进行分类。

给出了一个非常好的问题空间概述 here .

祝你好运!