scala - 在 Spark Scala UDF 中定义返回值

Question

想象一下以下代码:

def myUdf(arg: Int) = udf((vector: MyData) => {
  // complex logic that returns a Double
})

我如何定义 myUdf 的返回类型，以便查看代码的人会立即知道它返回的是 Double ？

Answer 1

我看到有两种方法可以做到，要么先定义一个方法，然后将其提升为一个函数

def myMethod(vector:MyData) : Double = {
  // complex logic that returns a Double
}

val myUdf = udf(myMethod _)

或者首先定义一个具有显式类型的函数:

val myFunction: Function1[MyData,Double] = (vector:MyData) => {
  // complex logic that returns a Double
}

val myUdf = udf(myFunction)

我通常对我的 UDF 使用第一种方法