scala - 如何使用 Scala 在 Spark 中处理日期？

Question

我有一个如下所述的平面文件。

id,name,desg,tdate
1,Alex,Business Manager,2016-01-01

我正在使用 Spark Context 读取此文件，如下所示。

val myFile = sc.textFile("file.txt")

我想从这个文件生成一个 Spark DataFrame，我正在使用以下代码来做到这一点。

case class Record(id: Int, name: String,desg:String,tdate:String)

val myFile1 = myFile.map(x=>x.split(",")).map {
  case Array(id, name,desg,tdate) => Record(id.toInt, name,desg,tdate)
} 

myFile1.toDF()

这给了我一个 id 为 int 且其余列为 String 的 DataFrame。

我希望将最后一列 tdate 转换为日期类型。

我怎样才能做到这一点？

Answer 1

您只需要转换 String到 java.sql.Date目的。然后，您的代码可以简单地变为:

import java.sql.Date
case class Record(id: Int, name: String,desg:String,tdate:Date)

val myFile1 = myFile.map(x=>x.split(",")).map {
  case Array(id, name,desg,tdate) => Record(id.toInt, name,desg,Date.valueOf(tdate))
} 

myFile1.toDF()