python - 执行 StandardScaler 后将 NaN 分配给 -1

Question

我想要StandardScaler(通过SK学习)某些DataFrame，其中包含很多NaN值，并且在执行此缩放器移位之后我想分配所有NaN至-1。我们知道 StandardScaler 不适用于 NaN 值，这怎么可能？

如果有任何其他解决方案(不依赖于Scikit Learn)也请提及。

df = pd.DataFrame(StandardScaler().fit_transform(values_to_scale.values))

我收到以下错误消息:

ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

Answer 1

处理 NaN 值并不那么简单。它需要在采取任何进一步步骤处理 NaN 值之前对数据进行分析。有多种方法可以处理这些缺失值(以下不是详尽的列表):

• 完全忽略缺失值:这种方法的问题是缺失的行可能包含其他列中的重要信息，忽略它们会导致分析不完整

• 将它们替换为其他值:这是常用的方法之一，但您将用于替换的值的选择将影响您的整体分析。您可以用平均值或占位符值(如 -1)替换它们，您知道该值在整个列中不会出现。

• 使用回归来替换值

• **使用KNN替换值**

您可以查看以下链接，以获得更好的想法

• Handling missing data
• 7 ways of handling missing data
• A guide to data exploaration
• Imputing missing values in Python

此外，您可以查看 official sklearn documentation for imputing missing values .

更新:您可以在执行 StandardScalar 时忽略 NaN 值，如下所示

import numpy as np    
import pandas as pd
from sklearn.preprocessing import StandardScaler

#Create a dataframe
df = pd.DataFrame({'col1': [0, np.nan, 2, 3, np.nan, 4, 5, np.nan, 6, 7, np.nan]})

#Get the index of null values
null_values = d['col1'].isnull()

#Perform standard scalar on only non-NaN values
df.loc[~null_values, ['col1']] = StandardScaler().fit_transform(df.loc[~null_values, ['col1']])

输出

    col1
0   -1.728498
1   NaN
2   -0.832240
3   -0.384111
4   NaN
5   0.064018
6   0.512148
7   NaN
8   0.960277
9   1.408406
10  NaN

然后使用 df.fillna 填充 nan 值

df.fillna(-1)

输出

    col1
0   -1.728498
1   -1.000000
2   -0.832240
3   -0.384111
4   -1.000000
5   0.064018
6   0.512148
7   -1.000000
8   0.960277
9   1.408406
10  -1.000000