dataframe - 连接两个数据框，从一个数据框中选择所有列，从另一个数据框中选择一些列

Question

假设我有一个 Spark 数据框 df1，其中包含多个列(其中列 id)，数据框 df2 包含两个列列，id 和 other。

有没有办法复制以下命令:

sqlContext.sql("SELECT df1.*, df2.other FROM df1 JOIN df2 ON df1.id = df2.id")

仅使用 pyspark 函数，例如 join()、select() 等？

我必须在函数中实现此连接，并且我不想被迫将 sqlContext 作为函数参数。

Answer 1

星号 (*) 与别名一起使用。例如:

from pyspark.sql.functions import *

df1 = df1.alias('df1')
df2 = df2.alias('df2')

df1.join(df2, df1.id == df2.id).select('df1.*')