apache-spark - PySpark withColumn & withField 类型错误 : 'Column' object is not callable

Question

我似乎无法弄清楚如何使用 withField 来更新嵌套数据框列，我似乎总是得到 'TypeError: 'Column' object is not callable'.

我遵循了这个例子: https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.Column.withField.html

df = spark.createDataFrame([Row(a=Row(b=1, c=2))])
df.withColumn('a', df['a'].withField('b', lit(3))).select('a.b').show()

这仍然导致:

Traceback (most recent call last):
  File "C:\Users\benhalicki\Source\SparkTest\spark_nested_df_test.py", line 58, in <module>
    df.withColumn('a', df['a'].withField('b', lit(3))).select('a.b').show()
TypeError: 'Column' object is not callable

Spark 版本:3.0.3(在 Windows 上)。

我做错了什么吗？

Answer 1

withField 是在 Spark 版本 3.1.0 中引入的，但您使用的是版本 3.0.3。如果您查看 documentation ，你可以看到关于版本支持的提及:

An expression that adds/replaces a field in StructType by name.

New in version 3.1.0.

对于旧版本，您需要重新创建结构列 a 以更新字段:

from pyspark.sql import functions as F

df.withColumn(
    'a', 
    F.struct(F.lit(3).alias("b"), F.col("a.c").alias("c"))
).select('a.b').show()

#+---+
#|  b|
#+---+
#|  3|
#+---+