python - 如何使用 nans 对 pandas 列进行 zscore 标准化？

Question

我有一个 pandas 数据框，其中包含一列我想要 zscore 归一化的实数值:

>> a
array([    nan,  0.0767,  0.4383,  0.7866,  0.8091,  0.1954,  0.6307,
        0.6599,  0.1065,  0.0508])
>> df = pandas.DataFrame({"a": a})

问题是单个 nan 值使所有数组 nan:

>> from scipy.stats import zscore
>> zscore(df["a"])
array([ nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan])

将 zscore(或不是来自 scipy 的等效函数)应用于 pandas 数据框的列并让它忽略 nan 值的正确方法是什么？对于无法规范化的值，我希望它与带有 np.nan 的原始列具有相同的维度

编辑:也许最好的解决方案是使用scipy.stats.nanmean 和scipy.stats.nanstd？我不明白为什么需要为此更改 std 的自由度:

zscore = lambda x: (x - scipy.stats.nanmean(x)) / scipy.stats.nanstd(x)

Answer 1

pandas 的 版本的 mean 和 std 将传递 Nan 所以你可以计算方式(为了与 scipy zscore 相同，我认为你需要在 std 上使用 ddof=0):

df['zscore'] = (df.a - df.a.mean())/df.a.std(ddof=0)
print df

        a    zscore
0     NaN       NaN
1  0.0767 -1.148329
2  0.4383  0.071478
3  0.7866  1.246419
4  0.8091  1.322320
5  0.1954 -0.747912
6  0.6307  0.720512
7  0.6599  0.819014
8  0.1065 -1.047803
9  0.0508 -1.235699