gpt4 book ai didi

hadoop - 从 ResourceManager GUI 访问终止的 Spark 作业日志

转载 作者:可可西里 更新时间:2023-11-01 14:58:03 26 4
gpt4 key购买 nike

我在 YARN 上运行 Spark 应用程序,当我使用以下方法终止作业时:

yarn application kill -applicationId application_XYZ

我无法从 Hadoop GUI (ResourceManager) 转到被杀死的应用程序的 Spark Job GUI。当我直接打开 Spark 历史服务器并尝试显示不完整的应用程序应用程序日志时,它起作用了。当作业完成(未终止)时,日志可以这样显示:Hadoop GUI -> Spark history server。我正在使用 YARN 日志聚合服务来聚合日志。另外,我可以使用以下方法访问应用程序日志:

yarn logs -applicationId application_XYZ

您在终止 Spark 应用程序时遇到过相同的行为吗?这样杀应用有什么问题吗?

最佳答案

像那样杀死应用程序没有错。是的,Hadoop UI 不显示被杀死作业的输出,但正如您提到的,您可以从主服务器上的日志中看到它。

关于hadoop - 从 ResourceManager GUI 访问终止的 Spark 作业日志,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32910491/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com