apache-spark-sql - 需要 Spark sql 中 SQL IsNumeric 函数的等效功能

Question

就像我们有 SQL ISNUMERIC 函数来验证表达式是否为数字一样，我需要 Spark SQL 中是否有任何等效的函数，我试图找到它但无法找到它。请问是否有人可以提供帮助或建议？

Answer 1

尝试使用spark udf，这种方法将帮助您克隆任何函数 -

scala> spark.udf.register("IsNumeric", (inpColumn: Int) => BigInt(inpColumn).isInstanceOf[BigInt])
res46: org.apache.spark.sql.expressions.UserDefinedFunction = UserDefinedFunction(<function1>,BooleanType,Some(List(IntegerType)))

scala> spark.sql(s""" select "ABC", IsNumeric(123) as IsNumeric_1  """).show(false)
+---+-----------+
|ABC|IsNumeric_1|
+---+-----------+
|ABC|true       |
+---+-----------+


scala> spark.sql(s""" select "ABC", IsNumeric("ABC") as IsNumeric_1  """).show(false)
+---+-----------+
|ABC|IsNumeric_1|
+---+-----------+
|ABC|null       |
+---+-----------+

这里，如果列值不是整数，上面的函数将返回 null。

希望这会有所帮助。