gpt4 book ai didi

apache-spark - 如何判断我正在Spark中运行哪个应用程序?

转载 作者:行者123 更新时间:2023-12-02 18:56:57 26 4
gpt4 key购买 nike

我使用Zeppelin运行Spark查询,并且我们有Spark应用程序UI。

enter image description here

但是,对于每个正在运行的应用程序,我们只有一个UI View 。

https://spark-history-server.[myURL].com/history/application_112378123821_98123

我让Zeppelin在Hadoop上运行。我想知道我的应用程序ID应该是什么。

有什么方法可以从Zeppelin笔记本中找到它吗?

最佳答案

使用 sc.applicationId 来获取当前作业的应用程序ID。

Using Spark Session:

spark.sparkContext.applicationId

关于apache-spark - 如何判断我正在Spark中运行哪个应用程序?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61843375/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com