scala - 将案例类传递给 Spark UDF

Question

我有一个 scala-2.11 函数，它根据提供的类类型从 Map 创建一个案例类。

def createCaseClass[T: TypeTag, A](someMap: Map[String, A]): T = {

    val rMirror = runtimeMirror(getClass.getClassLoader)
    val myClass = typeOf[T].typeSymbol.asClass
    val cMirror = rMirror.reflectClass(myClass)

    // The primary constructor is the first one
    val ctor = typeOf[T].decl(termNames.CONSTRUCTOR).asTerm.alternatives.head.asMethod
    val argList = ctor.paramLists.flatten.map(param => someMap(param.name.toString))

    cMirror.reflectConstructor(ctor)(argList: _*).asInstanceOf[T]
  }

我试图在 Spark 数据框的上下文中使用它作为 UDF。但是，我不确定通过案例类的最佳方法是什么。下面的方法似乎不起作用。

def myUDF[T: TypeTag] = udf { (inMap: Map[String, Long]) =>
    createCaseClass[T](inMap)
  }

我正在寻找这样的东西-

case class MyType(c1: String, c2: Long)

val myUDF = udf{(MyType, inMap) => createCaseClass[MyType](inMap)}

解决此问题的想法和建议表示赞赏。

Answer 1

However, I'm not sure what's the best way to pass the case class

不可能使用案例类作为用户定义函数的参数。 SQL StructTypes映射到动态类型(因为没有更好的词) Row对象。

如果你想对静态类型的对象进行操作，请使用静态类型 Dataset .