pandas - Imputer 减少了我的数据框中列的大小

Question

print(np.shape(ar_fulldata_input_xx))

Output: (9027, 1443)

现在，我使用 Imputer 来估算数据帧 ar_fulldata_input_xx 的缺失值，如下所示。

fill_NaN = Imputer(missing_values=np.nan, strategy='mean', axis=0)
imputed_DF = pd.DataFrame(fill_NaN.fit_transform(ar_fulldata_input_xx))

现在我按如下方式检查估算数据帧的大小。

print(np.shape(imputed_DF))

Output: (9027, 1442)

为什么列大小减少一？

有什么方法可以找到插补函数后哪一列正在混合吗？

我已运行以下代码行来删除具有整个“NAN”值或整个“0”值的所有列。

ar_fulldata_input_xx = ar_fulldata_input_xx.loc[:, (ar_fulldata_input_xx != 0).any(axis=0)]

和

ar_fulldata_input_xx=ar_fulldata_input_xx.dropna(axis=1, how='all')

Answer 1

您可以使用以下方法在 pandas 上执行此操作:

ndf = df.fillna(df.mean())

其中一列似乎存在问题，无法从原始文件中正确导入数值，因此这很可能是 Imputer 无法工作的原因。 OP 正在查看它。