scala - 参数数量可变的Spark Sql udf

Question

我想要一个 Spark Sql 的 concat 函数。我写了一个udf作为

sqlContext.udf.register("CONCAT",(args:String*)=>{
 String out=""
 for(arg<-args)
  {
    out+=arg
  }
 out
})

sqlContext.sql("select col1,col2,CONCAT(col1,col2) from testtable")

但是这个 udf 不工作，我得到一个异常。如果我尝试使用固定数量的参数，那么它就可以工作。我正在使用 spark 1.3.1 和 scala 2.10.5。

有没有人遇到过这个问题或知道解决方案？

Answer 1

您可以使用 struct 函数执行此操作，如下所示:

val myUDF = udf {
  (r: Row) => r.toSeq.map(...) // the "r" row contains your arguments
}
val df = ....
df.select(col("col1"), myUDF(struct(col("col2"), col("col3"), col("col4"), ...)))