hadoop - 如何为大数据集群分配物理资源？

Question

我有三台服务器，我想在这些服务器上部署 Spark Standalone Cluster 或 Spark on Yarn Cluster。现在我有一些关于如何为大数据集群分配物理资源的问题。例如，我想知道是否可以在同一个节点上部署 Spark Master Process 和 Spark Worker Process。为什么？

服务器详细信息:

CPU Cores: 24
Memory: 128GB

我需要你的帮助。谢谢。

Answer 1

当然可以，只要把host和Master放在slave中就可以了。在我的测试服务器上，我有这样的配置，master 机器也是工作节点，并且有一个 worker-only 节点。一切正常

但是请注意，worker 会失败并导致重大问题(即系统重启)，然后您就会遇到问题，因为 master 也会受到影响。

编辑:问题编辑后的更多信息 :) 如果您使用的是 YARN(如建议的那样)，则可以使用动态资源分配。 Here有一些关于它的幻灯片和here来自 MapR 的文章。如何为给定的情况正确配置内存是一个很长的话题，我认为这些资源会给你很多关于它的知识

顺便说一句。如果您已经安装了 Hadoop Cluster，也许可以尝试 YARN 模式；)但这不在讨论范围内