apache-spark - na().drop() 和 filter(col.isNotNull) 之间的区别 (Apache Spark)

Question

df.na().drop() 和 df.filter(df.col("onlyColumnInOneColumnDataFrame").isNotNull() && !df. 之间的语义有什么区别吗？ col("onlyColumnInOneColumnDataFrame").isNaN()) 其中 df 是 Apache Spark Dataframe？

或者，如果第一个值之后不返回 null (不是字符串 null，而只是一个 null 值)，我是否应该将其视为错误 null 列 onlyColumnInOneColumnDataFrame 第二个是吗？

编辑:还添加了 !isNaN() 。 onlyColumnInOneColumnDataFrame 是给定Dataframe 中的唯一列。假设它的类型是Integer。

Answer 1

使用df.na.drop()，您可以删除包含任何 null 或 NaN 值的行。

使用df.filter(df.col("onlyColumnInOneColumnDataFrame").isNotNull())，您可以删除那些仅在列onlyColumnInOneColumnDataFrame中为空的行。

如果您想实现同样的目标，那就是df.na.drop(["onlyColumnInOneColumnDataFrame"])。