python - 如何在 scikit-learn 中使用分类数据类型插补列

Question

我有一个数据集，其中包含数字和对象的特征。此外，一些具有对象数据类型的功能缺少值。我创建了 Imputer 的修改版本(按照另一篇文章中的说明)来处理数字和分类数据类型的缺失值，但是当我应用于我的数据集时，它返回 AttributeError。我相信我在估算拟合方法的定义中犯了一个愚蠢的错误，我很欣赏你的见解。这是我的代码和错误:

import os
import pandas as pd
import numpy as np
from sklearn.preprocessing import Imputer

#load the data
path='~/Desktop/ML/Hands_on/housing_train.csv'
path=os.path.expanduser(path)
data=pd.read_csv(path)

#select the columns_names including dtype=object && missing data
object_data=data.select_dtypes(include=['object'])
object_data_null=[]
for col in object_data.columns:
    if object_data[col].isnull().any():
        object_data_null.append(col)

class GeneralImputer(Imputer):
    def __init__(self, **kwargs):
        Imputer.__init__(self, **kwargs)

    def fit(self, X, y=None):
        if self.strategy == 'most_frequent':
            self.fills = pd.DataFrame(X).mode(axis=0).squeeze()
            self.statistics_ = self.fills.values
            return self
        else:
            return Imputer.fit(self, X, y=y)

    def transform(self, X):
        if hasattr(self, 'fills'):
            return pd.DataFrame(X).fillna(self.fills).values.astype(str)
        else:
            return Imputer.transform(self, X)

imputer=GeneralImputer(strategy='most_frequent', axis=1)

for i in object_data_null:
    imputer.fit(data[i])
    data[i]=imputer.transform(data[i])


---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-29-989e78355872> in <module>()
     38 object_data_null
     39 for i in object_data_null:
---> 40     imputer.fit(data[i])
     41     data[i]=imputer.transform(data[i])
     42 

<ipython-input-29-989e78355872> in fit(self, X, y)
     23         if self.strategy == 'most_frequent':
     24             self.fills = pd.DataFrame(X).mode(axis=0).squeeze()
---> 25             self.statistics_ = self.fills.values
     26             return self
     27         else:

AttributeError: 'str' object has no attribute 'values'

Answer 1

对于 1 大小的对象，squeeze() 方法将返回一个缩放器对象，如 mentioned in the documentation

这意味着，在大多数情况下(这里的所有列都会发生这种情况)，列的模式将是单个对象，然后挤压()将仅返回字符串。

所以不需要在其后获取.values。更改您的 fit() 方法以删除它:

def fit(self, X, y=None):
    if self.strategy == 'most_frequent':
        self.fills = pd.DataFrame(X).mode(axis=0).squeeze()

        # Removed .values from the below line
        self.statistics_ = self.fills
        return self