gpt4 book ai didi

apache-spark - 获取Spark作业的应用运行ID

转载 作者:行者123 更新时间:2023-12-03 13:55:03 25 4
gpt4 key购买 nike

我希望从运行Spark作业的位置获取该作业的唯一ID。

通过Spark主节点网站,我可以看到该ID。就像这样:

ID: app-20140429125304-0452


创建正在运行的作业时,有什么方法可以做到这一点?也许通过SparkContext?

最佳答案

是的,正如您所说:

sc.applicationId
res0: String = app-20150224184813-11531


(这是spark 1.2)

请参阅API文档,网址为


https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

关于apache-spark - 获取Spark作业的应用运行ID,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23378407/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com