gpt4 book ai didi

apache-spark - Databricks - 创建永久的用户定义函数(UDF)

转载 作者:行者123 更新时间:2023-12-02 14:52:41 44 4
gpt4 key购买 nike

我能够创建一个 UDF 函数并使用 spark.UDF 方法注册到 spark。但是,这仅限于每个 session 。集群启动时如何自动注册python UDF函数?这些功能应该对所有用户可用。示例用例是将时间从 UTC 转换为本地时区。

最佳答案

这是不可能的;这不像 Hive 中的 UDF。

如果使用 spark-submit,将 UDF 编码为您提交的包/程序的一部分,或者在 Spark 应用程序中包含的 jar 中。

但是,

spark.udf.register.udf("...

也需要完成。这适用于 Databrick 笔记本等。需要为每个 Spark 上下文/ session 重新注册 UDF。

关于apache-spark - Databricks - 创建永久的用户定义函数(UDF),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54714570/

44 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com