Python:用底层分布替换值

Question

我有一个数据框，其中一列有 3 个值，即 0.0、1.0 和 35.0。基本上，35.0 是空值，但不知何故空值被解释为 35.0。值计数如下所示:

home_ownership
0.0      1090
1.0     38531
35.0      379
Name: Id, dtype: int64

我需要根据 0 和 1 的底层现有分布，将所有 35.0 替换为 0 或 1。

希望得到任何指点。

Answer 1

根据您的数据分布，您可以使用简单的随机数生成

>> n_zeros, n_ones = 1090, 38531
>> n_samples = n_zeros + n_ones
>> n_nulls = 379
>> df.loc[np.isclose(df['home_ownership'], 35.0), 'home_ownership'] = \
         [float(random.randint(0, n_samples) >= n_zeros) for _ in range(n_nulls)]

说明:float(random.randint(0, n_samples) >= n_zeros) 根据分布生成随机数{0.0: n_zeros/n_samples, 1.0: n_ones/n_samples}。

注意:您可以替换

[float(random.randint(0, n_samples) >= n_zeros) for _ in range(n_nulls)]

与

np.random.choice([0.0, 1.0], n_nulls, p=[n_zeros/n_samples, n_ones/n_samples])

或与

np.random.binomial(1, n_ones/n_samples, n_nulls).astype(float)