scala - Spark Scala : How to transform a column in a DF

Question

我在 Spark 中有一个数据框，其中包含许多列和我定义的 udf。我想要相同的数据框，除了转换一列。此外，我的 udf 接受一个字符串并返回一个时间戳。是否有捷径可寻？我试过

val test = myDF.select("my_column").rdd.map(r => getTimestamp(r)) 

但这会返回一个 RDD 并且仅包含转换后的列。

Answer 1

如果您确实需要使用您的功能，我可以建议两个选项:

1)使用 map /toDF:

import org.apache.spark.sql.Row
import sqlContext.implicits._

def getTimestamp: (String => java.sql.Timestamp) = // your function here

val test = myDF.select("my_column").rdd.map {
  case Row(string_val: String) => (string_val, getTimestamp(string_val))
}.toDF("my_column", "new_column")

2) 使用 UDF ( UserDefinedFunction ):

import org.apache.spark.sql.functions._

def getTimestamp: (String => java.sql.Timestamp) = // your function here

val newCol = udf(getTimestamp).apply(col("my_column")) // creates the new column
val test = myDF.withColumn("new_column", newCol) // adds the new column to original DF

在 this nice article by Bill Chambers 中有关于 Spark SQL UDF 的更多详细信息.

或者 ,

如果你只是想转换一个 StringType列成 TimestampType您可以使用 unix_timestamp 列 column function自 Spark SQL 1.5 起可用:

val test = myDF
  .withColumn("new_column", unix_timestamp(col("my_column"), "yyyy-MM-dd HH:mm").cast("timestamp"))

注意:对于spark 1.5.x，需要乘以 unix_timestamp的结果来自 1000在转换为时间戳之前(问题 SPARK-11724)。结果代码将是:

val test = myDF
  .withColumn("new_column", (unix_timestamp(col("my_column"), "yyyy-MM-dd HH:mm") *1000L).cast("timestamp"))

编辑:添加 udf 选项