apache-spark - 修改 spark DataFrame 列

Question

我想更改以下数据框:

--id--rating--timestamp--
-------------------------
| 0 | 5.0  |  231312231 |
| 1 | 3.0  |  192312311 | #Epoch time (seconds from 1 Thursday, 1 January 1970)
-------------------------

到以下数据框:

--id--rating--timestamp--
--------------------------
| 0 |  5.0  |  05        |
| 1 |  3.0  |  04        | #Month of year
--------------------------

我怎么能做到这一点？

Answer 1

使用内置函数很容易

import org.apache.spark.sql.functions._;
import spark.implicits._
val newDF = dataset.withColumn("timestamp", month(from_unixtime('timestamp)));

请注意，DataFrame 是不可变的，因此您可以创建新的 DataFrame 但不能修改。当然，您可以将此 Dataset 分配给相同的变量。

注意编号 2:DataFrame = Dataset[Row]，这就是我使用这两个名称的原因