machine-learning - 通过相关矩阵进行特征选择

Question

在测试不同的算法(例如逻辑回归、高斯朴素贝叶斯、随机森林和多层感知器)时，我通过简单地减去平均值并除以标准差来对原始数据进行归一化。并不是所有人都需要这样做，但我只是想保持一致。但特征的相关矩阵在归一化前后发生了变化。在决定选择哪些特征以避免输入数据中出现冗余时，是否应该考虑两个相关矩阵，还是只考虑归一化后的一个相关矩阵，因为这是直接馈送到机器学习方法的数据？

Answer 1

我认为相关矩阵在“适当”标准化后应该保持不变。

演示:

In [107]: df = pd.DataFrame(np.random.rand(6,6)) * 100

让我们在标准化之前保存 Pearson 相关矩阵

In [108]: corr1 = df.corr()

使用sklearn.preprocessing.StandardScaler进行标准化:

In [109]: from sklearn.preprocessing import StandardScaler

In [110]: scale = StandardScaler()

In [111]: r = scale.fit_transform(df)

标准化后保存 PIL 逊相关矩阵

In [112]: corr2 = pd.DataFrame(r).corr()

比较保存的相关矩阵:

In [114]: np.allclose(corr1, corr2)
Out[114]: True