gpt4 book ai didi

hadoop-yarn - 是否可以使用 Spark yarn 簇运行 zeppelin

转载 作者:行者123 更新时间:2023-12-04 20:36:57 25 4
gpt4 key购买 nike

它与 spark yarn-client 运行良好,但是 yarn-cluster 呢?如果可能,请分享我们如何做到这一点。

最佳答案

是的,在 Zeppelin 的当前主版本中是可能的。

查看
https://medium.com/@zjffdu/zeppelin-0-8-0-new-features-ea53e8810235

Spark 解释器的 yarn 集群模式

在 0.8.0 之前,Zeppelin 仅支持 Spark Interpreter 的 yarn 客户端模式,这意味着驱动程序将在 Zeppelin Server 的同一主机上运行。导致 Zeppelin Server 主机的高内存压力,尤其是在隔离模式下运行 Spark Interpreter 时。

https://issues.apache.org/jira/browse/ZEPPELIN-2898 (合并到 2017 年 9 月末的主)。

更新:注意 0.8.0 已发布,其中包含此功能。

关于hadoop-yarn - 是否可以使用 Spark yarn 簇运行 zeppelin,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33313041/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com