python - 将小计添加到 Pandas Groupby

Question

我正在寻找一种更简洁的方法来将小计添加到 Pandas groupby。

这是我的数据框:

df = pd.DataFrame({
'Category':np.random.choice( ['Group A','Group B'], 50),
'Sub-Category':np.random.choice( ['X','Y'], 50),
'Product':np.random.choice( ['Product 1','Product 2'], 50),
'Units_Sold':np.random.randint(1,100, size=(50)),
'Dollars_Sold':np.random.randint(100,1000, size=50),
'Date':np.random.choice( pd.date_range('1/1/2011','03/31/2011',  
                      freq='D'), 50, replace=False)})

从那里，我创建了一个新的 Groupby Dataframe:

df1 = df.groupby(['Category','Sub-Category','Product',pd.TimeGrouper(key='Date',freq='M')]).agg({'Units_Sold':'sum','Dollars_Sold':'sum'}).unstack().fillna(0)

我想提供类别和子类别的小计。我可以使用以下代码执行此操作:

df2 = df1.groupby(level=[0,1]).sum()
df2.index = pd.MultiIndex.from_arrays([df2.index.get_level_values(0),
                                   df2.index.get_level_values(1) + ' Total',
                                   len(df2) * ['']])
df3 = df1.groupby(level=[0]).sum()
df3.index = pd.MultiIndex.from_arrays([df3.index.get_level_values(0) + ' Total',
                                   len(df3) * [''],
                                   len(df3) * ['']])
pd.concat([df1,df2,df3]).sort_index()

这给了我想要的 DataFrame: Final DataFrame

我的问题 - 是否有比为每个级别创建一个新的 DataFrame 然后连接在一起更 pythonic 的方法来做到这一点？我研究过这个，但找不到更好的方法。我必须为许多不同的 MultiIndex 数据帧执行此操作，并且正在寻求更好的解决方案。

预先感谢您的帮助!

编辑附加信息:

感谢@Wen 和@DaFanat 的回复。我试图使用我的数据中提供的链接@Wen [链接]:Python (Pandas) Add subtotal on each lvl of multiindex dataframe

pd.concat([df.assign(\
    **{x: 'Total' for x in "CategorySub-CategoryProduct"[i:]}\
    ).groupby(list('abc')).sum() for i in range(1,4)])\
    .sort_index()

这对总数求和，但是它忽略了构成列的第二级的日期。它给我留下了这个结果。 Resulting Image

我试图用 groupby 添加一个 TimeGrouper，但它返回了一个错误。任何帮助将不胜感激。谢谢!

Answer 1

通过将您上面的尝试与来自@piRSquared 的示例对齐，我可以让您更接近。

列表必须与 MultiIndex 匹配。试试这个:

iList = ['Category','Sub-Category','Product']
pd.concat([
    df1.assign(
        **{x: '' for x in iList[i:]}
    ).groupby(iList).sum() for i in range(1,4)
]).sort_index()

它没有在正确的位置显示“总计”一词，也没有在每个组的底部显示总计，但至少它在功能上或多或少是正确的。我的总数不匹配，因为 DataFrame 中的值是随机的。

我花了一段时间才完成 Python (Pandas) Add subtotal on each lvl of multiindex dataframe 中提供的原始答案.但同样的逻辑也适用于此。

assign() 将列中的值替换为对 MultiIndex 列列表的元素执行的字典理解返回的字典中的值。
然后 groupby() 只为那些非空白列找到唯一值并相应地对它们求和。
这些 groupbys 包含在列表理解中，因此 pd.concat() 然后只是组合这些行集。
sort_index() 将索引标签按升序排列。
(是的，您仍然会收到关于“列名和索引级别”的警告，但它仍然有效。)