machine-learning - 特征选择

Question

我有以术语作为维度的文档术语数据。我必须对条款进行特征选择，并且我打算使用互信息作为执行特征选择的度量。我的疑问是，在计算所有可能对之间的互信息后，要做什么？我应该设置一个阈值并选择阈值内的所有对的项吗？

Answer 1

如果你想使用互信息，你可以考虑使用 mRMR 算法。您可以使用此类算法来选择特征。我的意思是:

You have n features at your data set (it means n dimensions)

如果你想用最有意义的

k of n (k < n)

您可以使用特征选择(即使用互信息背景的 mRMR)

决定k取决于某些情况。

• 其中之一是您不想在自己的应用程序中使用不必要的功能。模型创建。

• 另一件事是你想避免计算成本并删除一些数据集中的特征

您应该在删除一些功能后测试您的算法。您检查准确性是否会提高，并且根据您的目标，即使准确性下降，也会导致避免计算成本(因此您可能也想消除一些功能)

另一方面，我建议您查看特征提取方法，即 PCA 和 LDA(特别是对于您的情况)。