python - 使用 Groupby 将 value_counts 存储在 Dask Dataframe 的新列中

Question

我曾经使用this solution计算并存储 Pandas 中列的 value_counts 并将结果存储在新列中。

现在我尝试对 Dask Dataframe 执行相同的操作，但会导致以下错误:

df['new_column'] = df.groupby(['A'])['B'].transform('count', meta='int').compute()

ValueError: cannot reindex from a duplicate axis

附注df 数据帧有四个分区。

如何计算A列的value_count并将其存储在Dask中的new_column中，与this answer相同？

Answer 1

如果您不需要坚持使用 transform (这是在最新的 dask 版本中引入的，请参阅 issue )，我建议您使用左合并，如以下代码所示。

import pandas as pd
import dask.dataframe as dd

df = pd.DataFrame({"A":[0,0,1,1,1,2,2],
                   "B":[1,2,3,4,5,6,7]})

df = dd.from_pandas(df, npartitions=2)

out = df.groupby("A")["B"]\
        .count()\
        .compute()\
        .reset_index(name="new_column")

df = dd.merge(df, out, on=["A"], how="left")