gpt4 book ai didi

hadoop - Spark历史记录服务器不显示作业或阶段

转载 作者:行者123 更新时间:2023-12-02 21:32:03 26 4
gpt4 key购买 nike

我们正在尝试使用Spark历史记录服务器进一步改善我们的Spark作业。 spark作业正确地将事件日志写入HDFS,并且spark历史服务器也可以访问此事件日志:我们确实在spark history服务器作业列表中看到了该作业,但是除了环境变量和执行程序之外,所有内容都是空的...
关于如何使 Spark 历史记录服务器显示所有内容的任何想法(例如,我们确实想查看DAG)?
我们正在使用spark 1.4.1。

谢谢。

最佳答案

我有一个类似的问题。我正在使用ssh进行端口转发来浏览历史记录服务器。向日志目录中的所有文件授予读取权限后,它们将出现在我的历史记录服务器中!

cd {SPARK_EVENT_LOG_DIR}
chmod +r * # grant the read permission to all users for all files

关于hadoop - Spark历史记录服务器不显示作业或阶段,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33869106/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com