machine-learning - 同时应用特征选择和缩减

Question

我试图模仿一项包括机器学习的研究。研究人员在使用高斯分类器进行分类之前，同时使用了特征选择和特征缩减。

我的问题如下:假设我有 3 节课。我从总共(比如说)10 个特征中为每个类别选择(比如说)前 3 个最佳特征。所选择的特征例如如下:

Class 1: F1 F2 F9
Class 2: F3 F4 F9
Class 3: F1 F5 F10

由于主成分分析或线性判别分析都适用于完整数据集或至少数据集，其中所有类都具有相同的特征，因此我如何对这样的数据集执行特征缩减，然后进行训练？

这里是论文的链接:Speaker Dependent Audio Visual Emotion Recognition

以下是论文摘录:

The top 40 visual features were selected with Plus l-Take Away r algorithm using Bhattacharyya distance as a criterion function. The PCA and LDA were then applied to the selected feature set and finally single component Gaussian classifier was used for classification.

Answer 1

在链接的论文中，为所有类开发了一组功能。巴氏距离是衡量两个高斯分布可分离程度的有界距离度量。该文章似乎没有具体描述如何使用 Bhattacharyya 距离(类间距离矩阵的平均值？)。但是，一旦您有了基于 Bhattacharyya 的指标，您就可以通过几种方法来选择您的功能。您可以从一组空的功能开始，然后逐步向该组中添加功能(基于类与新功能的可分离程度)。或者，您可以从所有功能开始，并逐渐放弃提供最小可分离性的功能。 Plus l-Take Away r 算法结合了这两种方法。

一旦选择了原始特征的子集，特征缩减步骤就会通过原始特征的一些变换来降低维度。正如您所引用的，作者同时使用了 PCA 和 LDA。两者之间的重要区别在于，PCA 独立于训练类标签，并且为了降低维度，您必须选择要保留多少方差。而 LDA 试图最大化类的可分离性(通过最大化类间与类内协方差的比率)并提供等于类数量减一的特征数量。

但这里重要的一点是，在特征选择和缩减之后，所有类都使用相同的特征集。