python - 使用 pandas 和 scikit (OneHotEncoder) 虚拟化逻辑回归的分类变量

Question

我读到this关于 scikit 中新事物的博客。 OneHotEncoder 获取字符串似乎是一个有用的功能。下面是我尝试使用这个的

import pandas as pd

from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer

cols = ['Survived', 'Pclass', 'Sex', 'Age', 'SibSp', 'Parch', 'Fare', 'Embarked']

train_df = pd.read_csv('../../data/train.csv', usecols=cols)
test_df = pd.read_csv('../../data/test.csv', usecols=[e for e in cols if e != 'Survived'])

train_df.dropna(inplace=True)
test_df.dropna(inplace=True)

X_train = train_df.drop("Survived", axis=1)
Y_train = train_df["Survived"]
X_test = test_df.copy()

ct = ColumnTransformer([("onehot", OneHotEncoder(sparse=False), ['Sex', 'Embarked'])], remainder='passthrough')

X_train_t = ct.fit_transform(train_df)
X_test_t  = ct.fit_transform(test_df)

print(X_train_t[0])
print(X_test_t[0])

# [ 0.    1.    0.    0.    1.    0.    3.   22.    1.    0.    7.25]
# [ 0.    1.    0.    1.    0.          3. 34.5     0.    0.  7.8292]

logreg = LogisticRegression(max_iter=5000)
logreg.fit(X_train_t, Y_train)
Y_pred = logreg.predict(X_test_t) # ValueError: X has 10 features per sample; expecting 11
acc_log = round(logreg.score(X_train, Y_train) * 100, 2)

print(acc_log)

我在这段代码中遇到了以下 python 错误，并且我还有一些其他问题。

ValueError: X has 10 features per sample; expecting 11

从头开始..这个脚本是为 kaggle 的“泰坦尼克号”数据集编写的。我们有五个数值列 Pclass、Age、SibSp、Parch 和 Fare。 Sex 和 Embarked 列是类别 male/female 和 Q/S/C(它是城市名称)。

我从 OneHotEncoder 了解到的是，它通过放置额外的列来创建虚拟变量。实际上，ct.fit_transform() 的输出现在不再是 pandas 数据帧，而是 numpy 数组。但从打印调试语句中可以看出，现在比原来的 7 列多了。

我遇到三个问题:

1. 由于某种原因，test.csv 少了一列。这对我来说表明其中一个类别的选择较少。为了解决这个问题，我必须在训练+测试数据的类别中找到所有可用的选项。然后使用这些选项(例如male/female)分别对训练数据和测试数据进行转换。我不知道如何使用我正在使用的工具(pandas、scikit 等)来执行此操作。再想一想..检查数据后我找不到 test.csv 中缺少的选项..

2. 我想避免“dummy variable trap ”。现在看来创建的列太多了。我本来期待 1 栏用于性(总共选项 2 - 1 以避免陷阱)和 2 栏用于启动。加上额外的 5 个数字列，总共 8 个。

3. 我不再识别转换的输出。我更喜欢一个新的数据框，其中新的虚拟列给出了自己的名称，例如 Sex_male (1/0) Embarked_Q (1/0) 和 Embarked_S(1/0)

我只习惯使用gretl，虚拟化一个变量并省略一个选项是很自然的。我不知道在 python 中我是否做错了，或者这个场景是否不是标准 scikit 工具包的一部分。有什么建议吗？也许我应该为此编写一个自定义编码器？

Answer 1

我会尝试单独回答您的所有问题。

Answer for Question 1

在您的代码中，您在训练和测试数据上使用了 fit_transform 方法，这不是正确的方法。一般来说，fit_transform 仅应用于您的训练数据集，并返回一个转换器，然后仅用于转换您的测试数据集。当您对测试数据应用 fit_transform 时，您只需使用仅在测试数据集中可用的分类变量的选项/级别来转换测试数据，并且您的测试数据很可能不包含所有分类变量的所有选项/级别，因此训练数据集和测试数据集的维度会有所不同，从而导致出现错误。

所以正确的做法是:

X_train_t = ct.fit_transform(X_train)
X_test_t  = ct.transform(X_test)

Answer for Question 2

如果您想避免“虚拟变量陷阱”，您可以在创建 OneHotEncoder 时使用参数 drop(将其设置为 first) 对象在 ColumnTransformer 中，这将导致只为 sex 创建一列，为 Embarked 创建两列，因为它们有两个 和分别三个选项/级别。

所以正确的做法是:

ct = ColumnTransformer([("onehot", OneHotEncoder(sparse=False, drop="first"), ['Sex','Embarked'])], remainder='passthrough')

Answer for Question 3

到目前为止，sklearn 中尚未实现可以使用新虚拟列重建数据框的 get_feature_names 方法。解决此问题的一种解决方法是将 ColumnTransformer 构造中的 reminder 更改为 drop，并单独构造数据框，如下所示:

ct = ColumnTransformer([("onehot", OneHotEncoder(sparse=False, drop="first"), ['Sex', 'Embarked'])], remainder='drop')
A = pd.concat([X_train.drop(["Sex", "Embarked"], axis=1), pd.DataFrame(X_train_t, columns=ct.get_feature_names())], axis=1) 
A.head()

这将导致类似这样的结果:

您的最终代码将如下所示:

import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer

cols = ['Survived', 'Pclass', 'Sex', 'Age', 'SibSp', 'Parch', 'Fare', 'Embarked']

train_df = pd.read_csv('train.csv', usecols=cols)
test_df = pd.read_csv('test.csv', usecols=[e for e in cols if e != 'Survived'])

cols = ['Survived', 'Pclass', 'Sex', 'Age', 'SibSp', 'Parch', 'Fare', 'Embarked']

train_df = train_df.dropna()
test_df = test_df.dropna()

train_df = train_df.reset_index(drop=True)
test_df = test_df.reset_index(drop=True)

X_train = train_df.drop("Survived", axis=1)
Y_train = train_df["Survived"]
X_test = test_df.copy()

categorical_values = ['Sex', 'Embarked']
X_train_cont = X_train.drop(categorical_values, axis=1)
X_test_cont = X_test.drop(categorical_values, axis=1)

ct = ColumnTransformer([("onehot", OneHotEncoder(sparse=False, drop="first"), categorical_values)], remainder='drop')

X_train_categorical = ct.fit_transform(X_train)
X_test_categorical  = ct.transform(X_test)

X_train_t = pd.concat([X_train_cont, pd.DataFrame(X_train_categorical, columns=ct.get_feature_names())], axis=1)
X_test_t = pd.concat([X_test_cont, pd.DataFrame(X_test_categorical, columns=ct.get_feature_names())], axis=1)

logreg = LogisticRegression(max_iter=5000)
logreg.fit(X_train_t, Y_train)
Y_pred = logreg.predict(X_test_t)

acc_log = round(logreg.score(X_train_t, Y_train) * 100, 2)

print(acc_log)

80.34

当你执行X_train_t.head()时，你会得到