machine-learning - 流水线生产 oneHotEncoding

Question

我正在尝试自动化我的训练和预测过程。但我对一种热编码有疑问。

假设我有一个如下所示的专栏:

column /
a      /
b      /
c      /

如果我对其进行编码，每个字母将得到 3 列，但如果稍后我下载一些新数据后，在同一列中我只有 a 和 b，则不会创建名为“column_c”的列所以由于形状的原因我无法预测使用模型，我将有 2 列而不是 3 列。

我该如何解决这个问题？

谢谢

Answer 1

仅当您重新训练 OneHotEncoder 时才会发生您所描述的错误，而您不应该在自动化过程中执行此操作。您应该像任何其他 ML 模型一样在训练数据集上训练 OneHotEncoder，然后将此经过训练的编码器应用于您想要通过自动化管道提供的任何新数据。

示例:

import pandas as pd
from sklearn.preprocessing import OneHotEncoder

df1 = pd.DataFrame({"cat_col":["a","b","c"]})
df2 = pd.DataFrame({"cat_col":["a","b"]})

ohe = OneHotEncoder(handle_unknown="ignore")

print(ohe.fit_transform(df1).toarray())
print(ohe.transform(df2).toarray())

这将返回

[[1. 0. 0.]
 [0. 1. 0.]
 [0. 0. 1.]]
[[1. 0. 0.]
 [0. 1. 0.]]