gpt4 book ai didi

apache-spark - 检查spark sql中的日期有效性

转载 作者:行者123 更新时间:2023-12-05 07:44:01 25 4
gpt4 key购买 nike

是否可以检查日期(yyymmdd)在 spark SQL 中是否有效?我尝试了以下方法:

TO_DATE(CAST(UNIX_TIMESTAMP(CAST(UNIX_TIMESTAMP(colname, 'yyyymmdd') AS  TIMESTAMP))) IS NOT NULL

谢谢,巴拉特

最佳答案

您将需要使用类似于 Natty 的数据解析器(取决于您使用的语言)natty.joestelmach.com

您可以创建一个使用 Natty(或其他解析器)解析和验证日期的函数。然后注册您可以在 Spark SQL 中使用的 udf。

val isValidDate: String => Boolean =//your validation logic here
sqlContext.registerFunction("dateValidate", isValidDate)
sqlContext.sql("SELECT * FROM DF WHERE dateValidate(colname)")

关于apache-spark - 检查spark sql中的日期有效性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43239420/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com