gpt4 book ai didi

apache-spark - Spark 累加器未显示在 Spark WebUI 中

转载 作者:行者123 更新时间:2023-12-03 07:19:50 27 4
gpt4 key购买 nike

我正在使用 Spark 流。根据 Spark 编程指南(参见 http://spark.apache.org/docs/latest/programming-guide.html#accumulators ),命名累加器将显示在 WebUI 中,如下所示: Accumulators in Spark WebUI不幸的是,我在任何地方都找不到这个。我正在像这样注册累加器(Java):

LongAccumulator accumulator = new LongAccumulator();    
ssc.sparkContext.sc().register(accumulator, "my accumulator");

我使用的是 Spark 2.0.0。

最佳答案

我没有有效的流式传输示例,但在非流式传输示例中,当选择特定阶段时,可以在阶段选项卡中找到此 UI。另外,我通常像这样创建累加器:

val accum = sc.longAccumulator("My Accumulator")

Spark Streaming 中的等效方法可能是将 sc 替换为 ssc.SparkContext

关于apache-spark - Spark 累加器未显示在 Spark WebUI 中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29831041/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com