Hadoop 2.7、Spark、Hive、JasperReports、Sqoop - 架构

Question

首先，这不是一个寻求帮助以逐步部署以下组件的问题。我要问的是关于应该如何设计架构的建议。我打算做的是使用现有数据开发一个报告平台。以下是我通过研究收集的数据。

我有一个包含大量记录的现有 RDBMS。所以我正在使用

• Scoop - 将数据从 RDBMS 提取到 Hadoop
• Hadoop - 存储平台
• Hive - 数据仓库
• Spark - 因为 Hive 更像是批处理 Hive 上的 Spark 会加快速度
• JasperReports - 生成报告。

我所知道的是部署了一个 Hadoop 2 集群，如下所示

• 192.168.X.A - 名称节点
• 192.168.X.B - 第二个名称节点
• 192.168.X.C - 从站 1
• 192.168.X.D - 从站 2
• 192.168.X.E - 从站 3

我的问题是

• 我应该在哪个节点部署 Spark？ A 或 B，鉴于我想支持故障转移。这就是为什么我在 B 上配置了一个单独的名称节点。
• 我应该在每个实例上部署 Spark 吗？工作节点应该是谁？
• 我应该在哪个节点部署 Hive？有没有比 Hive 更好的替代品？
• 我应该如何连接 JasperReports？去哪里？要 Hive 还是 Spark？

请告诉我一种合适的架构设计方式？请提供详细的答案。

请注意，如果您能提供任何类似性质的技术指南或案例研究，那将非常有帮助。

Answer 1

你已经想通了!我所有的回答都只是一般性意见，可能会根据数据、要执行的操作风格而发生巨大变化。另外，问题暗示此类操作的数据和结果对任务至关重要，我是这么认为的。

Spark on Hive will speed up things

不一定正确。轶事证据，this post (by cloudera) , 证明恰恰相反。实际上有一个相反的方向，即 Hive on Spark .

In which node should I deploy Spark? A or B, Given that I want to support fail-over. That's why I have a separate namenode configured on B. Should I deploy Spark on each and every instances? Who are the worker nodes should be?

当然 - 在大多数情况下。设A或B为master，其余皆为worker节点。如果您不想在您的体系结构中出现 SPOF，请参阅 high availability section of spark documentation ，需要一些额外的工作。

Is there a better alternative to Hive?

这个既是主观的又是特定于任务的。如果 SQL 查询感觉很自然并且适合任务，还有 Impala由 Cloudera 推广，它声称性能和数量级比 Hive 快。但在 Apache Hadoop 生态系统中有点陌生。使用 Spark - 如果您擅长输入一些 python 或 scala - 您可以进行类似 SQL 的查询，同时仍然享受这些语言提供的表达能力。

How should I connect JasperReports? And to where? To Hive or Spark?

不知道这个。