python - Databricks - 在 Python 中创建函数 (UDF)

Question

我怎样才能创建这样的函数 https://docs.databricks.com/spark/latest/spark-sql/language-manual/create-function.html#create-function但是在 python 中定义函数？

我已经做过类似的事情了:

from pyspark.sql.types import IntegerType
def relative_month(input_date):
  if input_date is not None:
    return ((input_date.month + 2) % 6)+1
  else:
    return None
_ = spark.udf.register("relative_month", relative_month, IntegerType())

但是这个UDF只适用于运行这段代码的notebook。

我想使用 SQL 语法做同样的事情来注册函数，因为我会有一些用户通过 SQL 客户端使用数据 block ，他们也需要这些函数。

在 Databricks 文档中说我可以定义资源:

: (JAR|FILE|ARCHIVE) file_uri

我需要创建一个 .py 文件并将其放在我的数据 block 集群中的某个位置吗？

Answer 1

要共享笔记本，请在集群配置中将 spark.databricks.session.share 设置为 true。通常 UDF 在 spark 中是特定于应用程序的并且是临时的，因此如果必须在其他应用程序中使用它，他们必须再次注册才能使用它。但正如我所说，如果将 spark.databricks.session.share 设置为 true ，则可以在多个笔记本之间共享它。

如果它用于 HIVE，那么您可以永久注册 UDF，并且可以跨多个用户访问

这里有一个类似的线程。看看它是否有帮助。

Databricks - Creating permanent User Defined Functions (UDFs)