gpt4 book ai didi

python - 将操作数据帧的函数应用到 groupby

转载 作者:太空宇宙 更新时间:2023-11-03 16:13:52 25 4
gpt4 key购买 nike

我有一个包含索引和其他几个列的数据框。索引中的值不是唯一的(实际上它们重复很多次。每个索引可以重复约 10-20 次)。基本上想象一下这样的事情:

import random
random.seed(4)
arr = [[random.randint(1, 4)] + [random.random() for _ in xrange(3)] for i in xrange(5)]
df_ = pd.DataFrame(arr, columns = ['id', 'col1', 'col2', 'col3']).set_index('id')

enter image description here

现在我需要根据 id 计算一些值。这些值是:

  • 某个特定列中 0 的百分比
  • 属于某些范围的值的百分比
  • 与之前的问题类似

为了简单起见,我们假设我只需要 [-inf, 0.25], [0.25, 0.75], [0.75, inf] 范围内的值,并且我将仅使用 col1

我目前所做的是:

创建了一个函数,它接受一个数据帧并返回这 3 个数字。

def f(df):
v1 = len(df[df['col1'] <= 0.25])
v2 = len(df[(df['col1'] >= 0.25) & (df['col1'] <= 0.75)])
v3 = len(df[df['col1'] >= 0.75])
return v1, v2, v3

现在我正在迭代索引中的所有值,提取与该索引相关的数据并将此函数应用于它。这样我就可以用我需要的统计数据创建新的数据框。

data = []
for id in set(df_.index.values):
v1, v2, v3 = f(df_.loc[id])
data.append((id, v1, v2, v3))

res_ = pd.DataFrame(data, columns=['id', 'less_25', '25_75', 'more_75'])
<小时/>

现在一切正常(我相信是正确的),但速度非常慢。我需要计算大约 1M 行 df 的数据,其中有大约 50k 个唯一 id。我的方法很可能需要一天的时间。

相信有了聪明的groupby或者可能是其他可以更快实现的东西。

最佳答案

让我们首先在整个 df_ 上使用 pd.cut 来开始。

cat = pd.cut(df_.values.flatten(), [-np.inf, .25, .75, np.inf])
cat_arr = cat.get_values().reshape(df_.shape)
cat_df = pd.DataFrame(cat_arr, df_.index, df_.columns)

看看

pd.concat([df_, cat_df], axis=1, keys=['df_', 'cat'])

enter image description here

获取每个id数量

cat_count = cat_df.stack().groupby(level=[0, 1]) \
.value_counts() \
.unstack().fillna(0)
cat_count

enter image description here

获取每个idcat频率

cat_count = cat_df.stack().groupby(level=[0, 1])\
.value_counts(normalize=True) \
.unstack().fillna(0)
cat_count

enter image description here

关于python - 将操作数据帧的函数应用到 groupby,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39071248/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com