gpt4 book ai didi

hadoop - 报告平台应该选择 yarn-cluster 还是 yarn-client?

转载 作者:可可西里 更新时间:2023-11-01 16:30:43 24 4
gpt4 key购买 nike

我打算做的是使用现有数据开发一个报告平台。我有一个包含大量记录的现有 RDBMS。所以我在用。 ( Hadoop 2.7, Spark, Hive, JasperReports, Scoop - Architecuture )

  • Scoop - 将数据从 RDBMS 提取到 Hadoop
  • Hadoop - 存储平台
  • Hive - 数据仓库
  • Spark - 因为 Hive 更像是批处理 Hive 上的 Spark 会加快速度
  • JasperReports - 生成报告。

鉴于我已经阅读了以下内容

我应该使用哪种模式?为什么?决策依据是什么?

最佳答案

向 Danier Darabos 的回答添加更多信息:除了托管应用程序/故障转移和驱动程序运行的位置( yarn 集群模式下的应用程序主机或 yarn 客户端模式下的客户端,其他功能保持不变。但是 yarn-client 模式支持 spark-shell,这与 yarn-cluster 模式不同。

enter image description here

看看这个article了解以各种模式运行 Spark 应用程序之间的区别 - YARN 集群、YARN 客户端和 Spark 独立模式

在考虑所有选项中的标准后,做出经过深思熟虑的决定。

关于hadoop - 报告平台应该选择 yarn-cluster 还是 yarn-client?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33799818/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com