scala - 通过 UDF、Spark - Scala 加密 CSV 列

Question

我正在尝试加密我的 CSV 文件中的列。我正在尝试使用 UDF 来做到这一点。但我收到编译错误。这是我的代码:

import org.apache.spark.sql.functions.{col, udf}

val upperUDF1 = udf { str: String => Encryptor.aes(str) }

val rawDF = spark
      .read
      .format("csv")
      .option("header", "true")
      .load(inputPath)

rawDF.withColumn("id", upperUDF1("id")).show() //Compilation error.

我在最后一行收到编译错误，是不是我使用了不正确的语法。提前致谢。

Answer 1

你应该发送一个Column而不是一个String，你可以通过不同的语法来引用一个列:

$"<columnName>" 
col("<columnName>")

所以你应该试试这个:

rawDF.withColumn("id", upperUDF1($"id")).show()

或者这个:

rawDF.withColumn("id", upperUDF1(col("id"))).show()

我个人最喜欢美元语法，对我来说似乎更优雅