python - 在dask数据帧上使用groupby

Question

我有几个关于在dask数据帧上使用groupby的问题。
据我所知，在一个groupby结果上迭代，就像在Pandas中那样，在dask中是行不通的。

for name, group in sorted(grouped.groups):
    logger.info((name, group))

是不允许的。我们应该改用 apply。
但是，如果我想知道熊猫的数量，我可以做以下工作：

 len(grouped.groups)

通过使用 apply，我希望能够对dask数据帧上的groupby执行此操作：

 d_grouped.apply(len)

但那不管用。如何找出由dask数据帧上的groupby生成的组数？

Answer 1

几乎可以肯定的是，要确定组的数量，就需要查看所有的数据。因此，我认为这是一个昂贵的计算。如果必须计算该数字，可以尝试以下操作：
使用重复放置
您可以返回原始数据帧（此处：ddf），选择用于groupby的列（在我的示例中是[A, B]或只是A），并计算结果的长度：

pdf = pd.DataFrame(dict(A=[0,0,0,1,1,1,2], B=[0,0,0,1,1,2,2]))
ddf = dd.from_pandas(pdf, npartitions = 2)
len(ddf[['A', 'B']].drop_duplicates()) ## 4 groups
len(ddf['A'].drop_duplicates()) ## 3 groups

虽然这需要加载所有数据，但不需要洗牌。
对每组应用 lambda x: 1并计算结果的长度
您还可以对groupby对象应用一个简单的函数并计算结果的长度：

len(ddf.groupby('A').apply(lambda x: 1).compute())

因为这可能会触发一次完全的洗牌，这可能会导致非常低的性能，所以我建议使用第一种方法。