neural-network - 避免虚拟变量陷阱和神经网络

Question

我知道在训练机器学习算法之前应该对分类数据进行一次热编码。对于多元线性回归，我还需要排除编码变量之一，以避免所谓的虚拟变量陷阱。

例如:如果我具有分类特征“大小”:“小”，“中”，“大”，那么在一种热编码中，我会得到类似以下内容:

small  medium  large other-feature
  0      1       0      2999

因此，为了避免虚拟变量陷阱，我需要删除3列中的任何一列，例如，“small”列。

在训练神经网络时，我应该做同样的事情吗？还是仅用于多元回归？

谢谢。

Answer 1

As stated here，需要避免在考虑了所有预测变量的线性组合算法输入时避免使用虚拟变量陷阱(在编码后但在训练之前删除了每个分类特征的一个类别)。这样的算法是:

线性/多线性回归

Logistic回归

判别分析

不使用权重衰减的神经网络

如果从采用权重衰减的神经网络的输入中删除类别，则该类别将偏向于省略的类别。

即使在对特征进行编码后省略一个类别时，也不会丢失任何信息，但其他算法将不得不通过所有其他类别的组合来间接推断被忽略类别的相关性，从而使它们为同一结果进行更多的计算。