如果 DataFrame 中有重复值,pandas 已经提供了替换或删除重复项的功能。另一方面,在许多实验数据集中,一个人可能有“接近”的重复。
如何用例如替换这些几乎重复的值他们的意思?
示例数据如下所示:
df = pd.DataFrame({'x': [1, 2,2.01, 3, 4,4.1,3.95, 5,],
'y': [1, 2,2.2, 3, 4.1,4.4,4.01, 5.5]})
我试图将一些东西拼凑在一起,将重复的东西放在一起,但这是使用 for 循环,看起来像是对 pandas 的破解:
def cluster_near_values(df, colname_to_cluster, bin_size=0.1):
used_x = [] # list of values already grouped
group_index = 0
for search_value in df[colname_to_cluster]:
if search_value in used_x:
# value is already in a group, skip to next
continue
g_ix = df[abs(df[colname_to_cluster]-search_value) < bin_size].index
used_x.extend(df.loc[g_ix, colname_to_cluster])
df.loc[g_ix, 'cluster_group'] = group_index
group_index += 1
return df.groupby('cluster_group').mean()
分组和平均哪个做的:
print(cluster_near_values(df, 'x', 0.1))
x y
cluster_group
0.0 1.000000 1.00
1.0 2.005000 2.10
2.0 3.000000 3.00
3.0 4.016667 4.17
4.0 5.000000 5.50
有没有更好的方法来实现这一点?
这是一个示例,您希望将项目分组到一位数的精度。您可以根据需要修改它。您还可以针对阈值超过 1 的分箱值修改此设置。
df.groupby(np.ceil(df['x'] * 10) // 10).mean()
x y
x
1.0 1.000000 1.00
2.0 2.005000 2.10
3.0 3.000000 3.00
4.0 4.016667 4.17
5.0 5.000000 5.50
我是一名优秀的程序员,十分优秀!