scala - Spark Dataset select with typedcolumn

Question

看着select() spark DataSet 上的函数有各种生成的函数签名:

(c1: TypedColumn[MyClass, U1],c2: TypedColumn[MyClass, U2] ....)

这似乎暗示我应该能够直接引用 MyClass 的成员并且类型安全，但我不确定如何......
ds.select("member")当然有效.. 似乎是 ds.select(_.member)也可能以某种方式工作？

Answer 1

在 select 的 Scala DSL 中，有很多方法可以识别Column :

来自一个符号:'name

来自字符串:$"name"或 col(name)

来自表达式:expr("nvl(name, 'unknown') as renamed")

获取 TypedColumn来自 Column您只需使用 myCol.as[T] .

例如: ds.select(col("name").as[String])