gpt4 book ai didi

python - pyspark 中的命名累加器

转载 作者:太空宇宙 更新时间:2023-11-04 04:36:14 24 4
gpt4 key购买 nike

在 scala spark 中,可以创建一个命名的累加器,它将通过以下方式显示在 web ui 中

val accum = sc.accumulator(0, "My Accumulator")

但是 pyspark sc.accumulator() 方法没有名称参数。是否可以在 pyspark 中创建一个命名的累加器,它将显示在网络用户界面中?

最佳答案

在 pyspark 中无法创建命名累加器。这个问题已经提出来了。你可以追踪这个话题https://issues.apache.org/jira/browse/SPARK-2868 .

关于python - pyspark 中的命名累加器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51639796/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com