python - 处理缺失的分类值 ML

Question

我经历过replace missing values in categorical data关于处理分类数据中的缺失值。

数据集大约有 6 categorical columns与 missing values .这将用于二分类问题

我看到了不同的方法，其中一种方法是 just leave the missing values in category column as such , 其他使用 from sklearn.preprocessing import Imputer 进行估算，但不确定哪个更好。

如果 imputing是更好的选择，在应用像 LR,Decision Tree, RandomForest 这样的模型之前我可以使用哪些库.

谢谢!

Answer 1

有多种方法可以处理丢失的数据:

有些模型会处理它(例如 XGBoost、LightGBM)

您可以尝试使用模型来估算它们。您应该将数据分成训练集和测试集，并尝试不同的模型来衡量哪个最有效。但更多时候不是，它不能很好地工作。有一个KNNImputer在 sklearn 中实现

您还可以定义规则:根据您的数据集，将缺失值设置为 0、平均值、中位数或任何有效值。这是一个 SimpleImputer在 sklearn 中实现

如果以上方法都不适合您，您还可以去掉缺失值的行。

有关 sklearn 中值的更多详细信息: https://scikit-learn.org/stable/modules/impute.html