Scala 通过表达式向数据框添加新列

Question

我将使用表达式向数据框添加新列。例如，我有一个数据框

+-----+----------+----------+-----+
| C1  | C2       |   C3     |C4   |
+-----+----------+----------+-----+
|steak|1         |1         |  150|
|steak|2         |2         |  180|
| fish|3         |3         |  100|
+-----+----------+----------+-----+

我想用表达式“C2/C3+C4”创建一个新列C5，假设需要添加几个新列，并且表达式可能不同并且来自数据库。

有什么好的方法吗？

我知道如果我有一个像“2+3*4”这样的表达式，我可以使用 scala.tools.reflect.ToolBox 来评估它。

通常我使用 df.withColumn 来添加新列。

似乎我需要创建一个 UDF，但是如何将列值作为参数传递给 UDF？特别是可能有多个表达式需要不同的列计算。

Answer 1

这可以使用 expr 从表达式创建 Column 来完成:

val df = Seq((1,2)).toDF("x","y")

val myExpression = "x+y"

import org.apache.spark.sql.functions.expr

df.withColumn("z",expr(myExpression)).show()

+---+---+---+
|  x|  y|  z|
+---+---+---+
|  1|  2|  3|
+---+---+---+