scala - 将 List[String] 或 Seq[String] 传递给 Spark 中的 groupBy

Question

这个问题已经有答案了:

Scala-Spark Dynamically call groupby and agg with parameter values (1 个回答)

已关闭 6 年前。

df.groupBy("col1", "col2", "col3")工作得很好。

但是当我尝试执行以下操作时:

val dimensions = Seq("col1", "col2", "col3")
df.groupBy(dimensions)

我收到此错误:

<console>:38: error: overloaded method value groupBy with alternatives:
  (col1: String,cols: String*)org.apache.spark.sql.GroupedData <and>
  (cols: org.apache.spark.sql.Column*)org.apache.spark.sql.GroupedData
 cannot be applied to (Seq[String])

Answer 1

参数列表后的

* 表示可变参数，因此您必须解压序列。如果您有这样的签名:

def foo(ts: T*) = ???

可以使用任意数量的 T 类型的参数来调用它:

foo()
foo(t1)
foo(t2)
...

如果您有序列，则可以使用 _* 语法传递它:

val ts: Seq[T] = ???
foo(ts: _*)

请引用Repeated Parameters section有关详细信息，请参见 Scala 语言规范。

因此，在这种情况下，您可以:

df.groupBy(dimensions.head, dimensions.tail: _*)

匹配(col1: String,cols: String*)，或

df.groupBy(dimensions map col: _*)

匹配(列:org.apache.spark.sql.Column*)