scala - 从数据框 Spark 中删除一列

Question

我有一个包含大量列的 Spark 数据框。我想从中删除两列以获得新的数据框。

如果列数较少，我可以像这样在 API 中使用 select 方法:

pcomments = pcomments.select(pcomments.col("post_id"),pcomments.col("comment_id"),pcomments.col("comment_message"),pcomments.col("user_name"),pcomments.col("comment_createdtime"));

但由于从长列表中选择列是一项乏味的任务，是否有解决方法？

Answer 1

使用drop方法和withColumnRenamed方法。

例子:

    val initialDf= ....

    val dfAfterDrop=initialDf.drop("column1").drop("coumn2")

    val dfAfterColRename= dfAfterDrop.withColumnRenamed("oldColumnName","new ColumnName")