machine-learning - SVM 对噪声有弹性吗

Question

我有由 36 个特征组成的转换集。当我使用 Matlab 计算 PCA 的“解释”值时。我注意到只有前 24 个组件很重要。

我的问题是，如果我省略组件(其他 12 个组件)的重置，我是否会获得更好的准确性(预测)。或者 SVM 对噪声具有很强的弹性，这意味着无论我是否删除了其他 12 个组件。性能不会有太大变化。

Answer 1

没有通用的答案，不可能说“如果我用 Y 进行预处理，方法 X 会发生什么”。但总的来说:

• 使用启发式进行预处理是一个坏主意(PCA 只是一种启发式，从监督学习的角度来看没有理由使用它) - 当“纯粹”方法失败时考虑它们，而不是在失败之前
• PCA 将维度识别为不太重要的事实并不意味着这些维度是噪音
• SVM 处理噪声的能力取决于噪声强度和所使用的内核，对于高偏差内核(例如线性或多项式噪声)不应该是问题，对于低偏差(例如 RBF) - 它会影响分类，但同样 - 真实噪音，您的描述不符合真实噪音的定义。