gpt4 book ai didi

apache-spark - Python API 中是否提供 Spark SQL UDAF(用户定义的聚合函数)?

转载 作者:行者123 更新时间:2023-12-03 23:58:08 24 4
gpt4 key购买 nike

从 Spark 1.5.0 开始,似乎可以为 DataFrame 上的自定义聚合编写自己的 UDAF:
Spark 1.5 DataFrame API Highlights: Date/Time/String Handling, Time Intervals, and UDAFs

但是,我不清楚 Python API 是否支持此功能?

最佳答案

您不能在 Spark 1.5.0-2.0.0 中定义 Python UDAF。有一个 JIRA 跟踪此功能请求:

  • https://issues.apache.org/jira/browse/SPARK-10915

  • 以“稍后”的目标解决,所以它可能不会很快发生。

    您可以使用 PySpark 中的 Scala UDAF - 描述为 Spark: How to map Python with Scala or Java User Defined Functions?

    关于apache-spark - Python API 中是否提供 Spark SQL UDAF(用户定义的聚合函数)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33502263/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com