"?-6ren"> "?-我有数据框并试图获得不同的计数并能够成功获得不同的计数但是每当 scala 程序执行时我都会收到此消息 ([Stage 2:=============================> (1 + 1)-6ren">
gpt4 book ai didi

scala - 如何从 spark 中的输出控制台抑制 "Stage 2===>"?

转载 作者:行者123 更新时间:2023-12-04 13:57:10 27 4
gpt4 key购买 nike

我有数据框并试图获得不同的计数并能够成功获得不同的计数但是每当 scala 程序执行时我都会收到此消息 ([Stage 2:=============================> (1 + 1) / 2])我怎样才能在控制台中抑制特定的这条消息。

val countID = dataDF.select(substring(col("dataDF"),5,7).distinct().count()

最佳答案

您需要设置spark.ui.showConsoleProgressfalse
我在添加进度条的工单的评论中发现了这一点。

https://issues.apache.org/jira/browse/SPARK-4017

虽然我没有在任何文档中看到它,但确实应该添加它。

关于scala - 如何从 spark 中的输出控制台抑制 "Stage 2===>"?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44420250/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com