gpt4 book ai didi

apache-spark - 在Kubernetes/Mesos中运行YARN集群

转载 作者:行者123 更新时间:2023-12-02 11:49:37 24 4
gpt4 key购买 nike

我正在使用YARN在spark上运行一组dockerized应用程序,我想知道在Kubernetes中部署集群是否可行还是Mesos是更好的选择?在决定由一位经理代替另一位经理之前,我将不胜感激。

最佳答案

您可以将Apache Livy构建用于Kubernetes:https://github.com/jahstreet/spark-on-kubernetes-helm
此设置完全取代了Spark支持的Yarn支持的功能,并在顶部添加了一些其他功能。

关于apache-spark - 在Kubernetes/Mesos中运行YARN集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41555593/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com