machine-learning - PCA、LDA 和朴素贝叶斯

Question

我正在尝试将线性判别分析应用于二分类问题。据我了解，LDA 假设两个类具有相同的协方差矩阵，然后将似然度建模为具有不同均值的高斯分布。

我尝试过的另一个分类器是朴素贝叶斯分类器。它忽略预测变量之间的任何相关性。

现在，我不明白当我将 PCA 应用于数据集时会发生什么。根据其定义，PCA 算法旋转数据，使得协方差矩阵是对角的。旋转中不会丢失任何内容，但由于协方差矩阵现在是对角矩阵，朴素贝叶斯难道不应该与 LDA 一样好，甚至更好吗，因为 LDA 将有更多参数需要估计？然而，根据我的数据，有或没有 PCA 的 LDA 都优于朴素贝叶斯。

确实，只要我使用所有主成分，数据就完全一样，这告诉我结果确实应该是这样。然而协方差矩阵是对角的......大脑崩溃

有人可以向我解释一下吗？我希望我已经足够清楚地表达了我的问题。谢谢!

Answer 1

PCA 对于降维很有用(例如，如果训练集的大小对于数据的维数来说太小)。但是，如果您使用所有主成分，PCA 不会改善线性分类器的结果 - 如果您的类在原始数据空间中不可线性分离，那么通过 PCA 旋转坐标不会改变这一点。

关于 PCA 需要注意的另一点是，它是根据整个样本集的统计数据来计算坐标旋转，而不考虑类标签。即使您的类可能是完全线性可分离的(在 PCA 之前和之后)，但这并不意味着它们将通过每个变换后的坐标独立地分离(即，线性决策边界不与任何变换后的坐标平行)坐标轴)。在这种情况下，我预计朴素贝叶斯会产生较低的准确度，因为根据定义，它独立处理每个轴。