python - 未实现错误 : Invalid returnType with grouped map Pandas UDFs

Question

我的 Pandas UDF 的 output_schema 包含以下字段:

Out[183]: [StructField(id,StringType,true),
 StructField(2018-01-01,StructType(List(StructField(real,FloatType,true),StructField(imag,FloatType,true))),true),
 StructField(2018-01-02,StructType(List(StructField(real,FloatType,true),StructField(imag,FloatType,true))),true),
 StructField(2018-01-03,StructType(List(StructField(real,FloatType,true),StructField(imag,FloatType,true))),true),
 StructField(2018-01-04,StructType(List(StructField(real,FloatType,true),StructField(imag,FloatType,true))),true),
 StructField(2018-01-05,StructType(List(StructField(real,FloatType,true),StructField(imag,FloatType,true))),true),
 StructField(2018-01-06,StructType(List(StructField(real,FloatType,true),StructField(imag,FloatType,true))),true),
 StructField(2018-01-07,StructType(List(StructField(real,FloatType,true),StructField(imag,FloatType,true))),true),
 StructField(2018-01-08,StructType(List(StructField(real,FloatType,true),StructField(imag,FloatType,true))),true),
 ...

并且是类型: Out[185]: pyspark.sql.types.StructType
我试图输出的是一列 id而其余的列是包含两个浮点数的元组。我定义架构的代码如下，基本上定义了 StructType()不是 id 的每一列的元组.

fields = []
for f in json.loads(skeleton_schema.json())["fields"]:
  if f["name"] != "id":
    fields.append(StructField(f["name"], StructType([ 
          StructField(FloatType(), True),
          StructField(FloatType(), True)
        ]), True))
  else:
      fields.append(StructField.fromJson(f))
output_schema = StructType(fields)

但是，在运行我的 UDF 时，我收到了 NotImplementedError并且输出打印了我的整个架构并说它不受支持。究竟什么不受支持，我做错了什么？

Answer 1

经过更多调试，我发现不支持嵌套结构类型。找到支持的类型 here .