scala - Spark scala删除仅包含空值的列

Question

有没有办法删除 Spark DataFrame 中仅包含空值的列？(我使用的是 scala 和 Spark 1.6.2)

目前我正在这样做:

var validCols: List[String] = List()
for (col <- df_filtered.columns){
  val count = df_filtered
    .select(col)
    .distinct
    .count
  println(col, count)
  if (count >= 2){
    validCols ++= List(col)
  }
}

构建包含至少两个不同值的列列表，然后在 select() 中使用它。

谢谢!

Answer 1

我遇到了同样的问题，并且在 Java 中提出了类似的解决方案。我认为目前没有其他方法可以做到这一点。

for (String column:df.columns()){
    long count = df.select(column).distinct().count();

    if(count == 1 && df.select(column).first().isNullAt(0)){
        df = df.drop(column);
    }
}

我将删除仅包含一个不同值且第一个值为空的所有列。这样我就可以确保不会删除所有值都相同但不为空的列。