python - 如何创建 Pyspark UDF 以将新列添加到数据帧

Question

我有大约 5 列要添加到数据框中。 (A - E) 这些列的值存储在 (a - e) 变量中。

而不是使用

 df.withColumn("A", a).withColumn("B", b).withColumn..... etc 

我们可以用 udf 来做到这一点吗？

目前我已命名函数:

     def add_col(df_name,newCol,value):
         df = df_name
         df = df.withColumn(newCol, value)
         return df

但我无法理解如何将其转换为 UDF 并使用它。请帮忙。

Answer 1

如果您想添加多列，可以使用 select 和 *:

df.select("*", some_column, another_column, ...)