apache-spark - 如何删除pyspark数据框中的列

Question

>>> a
DataFrame[id: bigint, julian_date: string, user_id: bigint]
>>> b
DataFrame[id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]
>>> a.join(b, a.id==b.id, 'outer')
DataFrame[id: bigint, julian_date: string, user_id: bigint, id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]

有两个id: bigint，我想删除一个。我该怎么办？

Answer 1

阅读 Spark 文档我发现了一个更简单的解决方案。

从 Spark 1.4 版本开始，有一个函数 drop(col) 可以在 pyspark 中的数据帧上使用。

您可以通过两种方式使用它

1. df.drop('年龄')
2. df.drop(df.age)

Pyspark Documentation - Drop