python - 使用虚拟变量进行具有多个分类变量的机器学习

Question

我希望使用 Python 对一些具有大量分类变量的数据进行多元线性回归或逻辑回归。我知道，对于一个分类变量，我需要将其转换为虚拟变量，然后删除一种类型的虚拟变量，以避免共线性，但是有人熟悉在处理不止一种类型的分类变量时应该采取的方法吗？

我对每个人都做同样的事情吗？例如，将每种类型的记录转换为虚拟变量，然后为每个记录删除一个虚拟变量以避免共线性？

Answer 1

如果有很多分类变量，并且在这些变量中，如果有很多级别，那么使用虚拟变量可能不是一个好的选择。

如果分类变量具有 bin 形式的数据，例如变量 age数据格式为10-18, 18-30, 31-50, ...您可以使用标签编码或使用箱的平均值/中位数创建新的数字特征，或为较低年龄和较高年龄创建两个特征

如果您有从任务启动到结束的时间戳，例如机器的启动时间到机器停止的时间，您可以通过以小时或分钟为单位计算持续时间来创建新功能。

给定许多分类变量但级别数很少，在这种情况下明显且唯一的出路是对分类变量应用 One-Hot 编码。

但是当分类变量有很多级别时，可能会出现某些情况太罕见或太频繁的情况。对此类数据应用 One-Hot 编码会严重影响模型性能。在这种情况下，建议应用某些业务逻辑/特征工程，从而首先减少级别数。此后，如果新功能仍然是 calcategories，您可以对它使用 One-Hot Encoding。