scala - Spark - Scala - 根据条件从数据框中删除列

Question

我们有一个特定的需求，其中我将不得不从 dataframe 中drop 列，该列中只有一个唯一值。以下是我们正在做的事情

val rawdata = spark.read.format("csv").option("header","true").option("inferSchema","true").load(filename)

随后，为了在所有列中查找唯一值，我们使用 spark 支持的 HyperLog++ 算法

val cd_cols  = rawdata.select(rawdata.columns.map(column => approxCountDistinct(col(column)).alias(column)): _*)

输出是

scala> cd_cols.show
+----+----------+---------+---+---------+--------------+---------+----------+----------------+---------+--------------+-------------+
|  ID|First Name|Last Name|Age|Attrition|BusinessTravel|DailyRate|Department|DistanceFromHome|Education|EducationField|EmployeeCount|
+----+----------+---------+---+---------+--------------+---------+----------+----------------+---------+--------------+-------------+
|1491|       172|      154| 43|        2|             3|      913|         3|              30|        1|             6|            1|
+----+----------+---------+---+---------+--------------+---------+----------+----------------+---------+--------------+-------------+

请注意，我有两列的唯一值是 1。我想创建另一个 dataframe，它包含除这两列(Education 和 EmployeeCount)之外的所有列

我试过使用for循环，但不是很开心，也试过了

cd_cols.columns.filter(colName => cd_cols.filter(colName) <= 1)

那也行不通。

请问有没有更聪明的方法来做到这一点。

谢谢

巴拉

Answer 1

你试试下面的命令:

df.selectExpr(df.first().getValuesMap[Int](df.columns).filter(_._2 != 1).keys.toSeq: _*).show

在这里，我们首先获取 dataframe 的第一行，并使用带有列名的 getValueMap 将其转换为 map ，并仅过滤值不为 1 的列.