pyspark-sql - 将pyspark groupedData对象转换为Spark Dataframe

Question

我必须在pyspark数据帧上进行2级分组。
我的想法：

grouped_df=df.groupby(["A","B","C"])
grouped_df.groupby(["C"]).count()

但我收到以下错误：

'GroupedData' object has no attribute 'groupby'

我想我应该先将分组的对象转换为pySpark DF。但是我不能那样做。

有什么建议吗？

Answer 1

我遇到过同样的问题。我解决该问题的方法是在第一个groupby之后首先执行“ count（）”，因为它返回一个Spark DataFrame，而不是GroupedData对象。然后，您可以对返回的DataFrame进行另一个groupby。

因此，请尝试：

grouped_df=df.groupby(["A","B","C"]).count()
grouped_df.groupby(["C"]).count()