apache-spark - Spark UDF错误-不支持类型为Any的架构

Question

我正在尝试创建一个udf，以将列中的负值替换为0。

我的数据框是–称为df，并且包含一列称为avg_x。
这是我创建udf的代码

val noNegative = udf {(avg_acc_x: Double) => if(avg_acc_x < 0) 0 else "avg_acc_x"}

我得到这个错误

java.lang.UnsupportedOperationException: Schema for type Any is not supported

df.printSchema返回

|-- avg_acc_x: double (nullable = false) 

所以我不明白为什么会发生此错误？

Answer 1

这是因为else返回了String:"avg_acc_x"。带走引号:

val noNegative = udf {(avg_acc_x: Double) => if(avg_acc_x < 0) 0 else avg_acc_x}