gpt4 book ai didi

apache-spark - SPARK 中的用户定义函数 (UDF) 是否以分布式方式工作?

转载 作者:行者123 更新时间:2023-12-05 02:51:16 29 4
gpt4 key购买 nike

如果数据存储在不同的节点中,SPARK 中的用户定义函数 (UDF) 是否以分布式方式工作,还是将所有数据累积到主节点中进行处理?如果它以分布式方式工作,那么我们可以将 python 中的任何函数(无论是预定义的还是用户定义的)转换为如下所述的 spark UDF:

spark.udf.register("myFunctionName", functionNewName)

最佳答案

Spark 数据帧以分区的形式分布在集群中。每个分区都由 UDF 处理,所以答案是肯定的。您也可以在 Spark UI 中看到这一点。

关于apache-spark - SPARK 中的用户定义函数 (UDF) 是否以分布式方式工作?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63226844/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com