machine-learning - 一起或分开标准化/分解训练/测试？

Question

X 数据的两个常见 ML 预处理步骤是标准化(例如缩放到单位方差)和分解(将特征映射到新空间，AIUI)。

在机器学习管道(包括训练/测试/验证集)中实现这些步骤的两种可能方法是:

i) 对整个训练/测试/验证 X 数据集进行标准化/分解，然后分解为训练/测试集并使用最低误差模型对验证集进行预测。

ii) 分解训练/测试集，然后分别标准化/分解训练/测试集，并使用最低误差模型对验证集进行预测(标准化/分解后)

其中一种方法是否比另一种更可取，为什么？

Answer 1

我认为第三个选项是有效的:

分成测试/训练集，计算训练集标准化/分解的参数(例如标准化训练集的均值和方差)，并在测试集上应用相同的参数。

对于标准化，这可能意味着测试集不具有零均值/单位方差。

查看测试集来转换训练集通常被认为是不好的做法，除了转导学习的特殊情况(您提前给出了测试集的输入)。

您的第二个选择很危险，因为测试集可能存在严重影响标准化参数的异常值。因此，最好有一组在训练集上估计的转换参数。