gpt4 book ai didi

apache-spark - YARN vs 基于实时应用程序的 Spark 处理引擎?

转载 作者:可可西里 更新时间:2023-11-01 14:42:10 26 4
gpt4 key购买 nike

我了解 YARN 和 Spark。但是我想知道什么时候需要使用 Yarn 和 Spark 处理引擎。我可以识别 YARN 和 Spark 之间的区别的不同案例研究有哪些?

最佳答案

您不能直接比较 Yarn 和 Spark。 Yarn 是一个分布式容器管理器,例如 Mesos,而 Spark 是一个数据处理工具。 Spark 可以在 Yarn 上运行,就像 Hadoop Map Reduce 可以在 Yarn 上运行一样。碰巧 Hadoop Map Reduce 是 Yarn 附带的功能,而 Spark 不是。

如果你的意思是比较 Map Reduce 和 Spark,我建议阅读 this other answer .

关于apache-spark - YARN vs 基于实时应用程序的 Spark 处理引擎?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29568533/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com