apache-spark - 连接后如何重命名重复的列？

Question

这个问题已经有答案了:

How to avoid duplicate columns after join? (10 个回答)

已关闭 5 年前。

我想对 3 个数据帧使用 join，但有些列我们不需要，或者与其他数据帧有一些重复的名称，所以我想删除一些列，如下所示:

result_df = (aa_df.join(bb_df, 'id', 'left')
  .join(cc_df, 'id', 'left')
  .withColumnRenamed(bb_df.status, 'user_status'))

请注意status列位于两个数据框中，即 aa_df和bb_df .

上面的方法不起作用。我还尝试使用withColumn ，但是新列已创建，旧列仍然存在。

Answer 1

如果您尝试重命名 bb_df 数据帧的 status 列，那么您可以在加入时执行此操作

result_df = aa_df.join(bb_df.withColumnRenamed('status', 'user_status'),'id', 'left').join(cc_df, 'id', 'left')