scala - 在 Spark Dataframe 中用空值替换空值

Question

我有一个包含 n 列的数据框，我想用空值替换所有这些列中的空字符串。

我试过用

val ReadDf = rawDF.na.replace("columnA", Map( "" -> null));

和

val ReadDf = rawDF.withColumn("columnA", if($"columnA"=="") lit(null) else $"columnA" );

他们都没有工作。

任何线索将不胜感激。谢谢。

Answer 1

您的第一种方法由于一个阻止 replace 能够用空值替换值的错误而失败，请参阅 here .

您的第二种方法失败了，因为您将驱动程序端 Scala 代码与执行程序端 Dataframe 指令混淆了:您的 if-else 表达式将在驱动程序上被评估一次 (而不是每条记录)；您希望将其替换为对 when 函数的调用；此外，要比较列的值，您需要使用 === 运算符，而不是 Scala 的 == ，它只比较驱动程序端的 Column 对象:

import org.apache.spark.sql.functions._

rawDF.withColumn("columnA", when($"columnA" === "", lit(null)).otherwise($"columnA"))