scala - Spark 将 DataFrame API 中的所有 NaN 替换为 null

Question

我有一个包含许多双列(和/或 float )的数据框，其中确实包含 NaN。我想用 null 替换所有 NaN(即 Float.NaN 和 Double.NaN)。

我可以用例如对于单列 x:

val newDf = df.withColumn("x", when($"x".isNaN,lit(null)).otherwise($"x"))

这可行，但我想一次对所有列执行此操作。我最近发现了 DataFrameNAFunctions (df.na) fill 这听起来正是我需要的。不幸的是我没有做到以上几点。 fill 应该用给定值替换所有 NaN 和 null，所以我这样做:

df.na.fill(null.asInstanceOf[java.lang.Double]).show

这给了我一个NullpointerException

还有一个很有前途的replace方法，但我什至无法编译代码:

df.na.replace("x", Map(java.lang.Double.NaN -> null.asInstanceOf[java.lang.Double])).show

奇怪的是，这给了我

Error:(57, 34) type mismatch;
 found   : scala.collection.immutable.Map[scala.Double,java.lang.Double]
 required: Map[Any,Any]
Note: Double <: Any, but trait Map is invariant in type A.
You may wish to investigate a wildcard type such as `_ <: Any`. (SLS 3.2.10)
    df.na.replace("x", Map(java.lang.Double.NaN -> null.asInstanceOf[java.lang.Double])).show

Answer 1

要在 Spark 中将所有 NaN 替换为 null，您只需为每一列创建替换值的 Map，如下所示:

val map = df.columns.map((_, "null")).toMap

然后您可以使用 fill 将 NaN(s) 替换为空值:

df.na.fill(map)

例如:

scala> val df = List((Float.NaN, Double.NaN), (1f, 0d)).toDF("x", "y")
df: org.apache.spark.sql.DataFrame = [x: float, y: double]

scala> df.show
+---+---+
|  x|  y|
+---+---+
|NaN|NaN|
|1.0|0.0|
+---+---+

scala> val map = df.columns.map((_, "null")).toMap
map: scala.collection.immutable.Map[String,String] = Map(x -> null, y -> null)

scala> df.na.fill(map).printSchema
root
 |-- x: float (nullable = true)
 |-- y: double (nullable = true)


scala> df.na.fill(map).show
+----+----+
|   x|   y|
+----+----+
|null|null|
| 1.0| 0.0|
+----+----+

希望对您有所帮助!