r - 解码 SparkR 数据框

Question

我有一个 spark 数据框:

library(SparkR); library(magrittr)

as.DataFrame(mtcars) %>%
   groupBy("am")

如何取消对这个数据框的分组？ SparkR 库中似乎没有任何取消分组功能!

Answer 1

There doesn't seems to be any ungroup function in the SparkR library

那是因为 groupBy 与 dplyr 中的 group_by 意义不一样。

SparkR::group_by/SparkR::groupBy 返回的不是 SparkDataFrame 而是一个 GroupData 对象到 SQL 中的 GROUP BY 子句。要将其转换回 SparkDataFrame，您应该调用 SparkR::agg(或者如果您更喜欢 dplyr 命名法 SparkR::summarize) 对应于 SQL 查询的 SELECT 组件。

聚合后返回 SparkDataFrame 并且不再存在分组。

另外 SparkR::groupBy 没有 dplyr group_by(...) %>% mutate(...) 等价物。相反，我们使用 window functions具有框架定义。

所以要点是 - 如果您不打算聚合，请不要使用 groupBy。