hadoop - 独立管理器与。 yarn 比。金币

Question

在 3 节点 Spark/Hadoop 集群上，哪个调度程序(管理器)可以高效工作？目前我正在使用独立管理器，但对于每个 spark 作业，我必须明确指定所有资源参数(例如:核心、内存等)，这是我想避免的。我也尝试过 Yarn，但它的运行速度比独立管理器慢 10 倍。

Mesos 会有帮助吗？

集群详细信息: Spark 1.2.1 和Hadoop 2.7.1

Answer 1

Apache Spark 在以下集群模式下运行

• 本地
• 独立
• yarn
• 金币
• 库伯内特
• 游牧

本地模式 用于在操作系统上运行 Spark 应用程序。这种模式对于Spark应用的开发和测试很有用。

standalone、Yarn、Mesos、Kubernetes 等模式都是分布式环境。在分布式环境中，资源管理对于计算资源的管理非常重要。因此，为了有效地管理计算资源，我们需要一个好的资源管理系统或Resource Schedular。

Standalone 适用于小型 spark 集群，但不适用于较大的集群(在集群节点中运行 spark daemons(master + slave) 会产生开销)。这些守护进程需要专用资源。因此，不建议将 standalone 用于更大的生产集群。Standalone 仅支持 Spark 应用程序，它不是通用集群管理器。在我们要运行各种工作负载的企业环境中，spark 独立集群管理器不是一个好的选择。

在 YARN 和 Mesos 模式下，Spark 作为应用程序运行，没有守护进程开销。因此，我们可以使用 YARN 或 Mesos 来获得更好的性能和可扩展性。 YARN 和 Mesos 都是通用的分布式资源管理，它们支持各种工作负载，如 MapReduce、Spark、Flink、Storm 等……具有容器编排。它们非常适合运行大型企业生产集群。

介于 YARN 和 Mesos 之间，YARN 专为 Hadoop 工作负载而设计，而 Mesos 则专为各种工作负载而设计。 YARN 是应用程序级调度器，Mesos 是操作系统级调度器。如果你已经在运行 Hadoop 集群(Apache/CDH/HDP)，最好使用 YARN。如果是全新项目，最好使用 Mesos(Apache、Mesosphere)。还有一项规定是使用名为 Apache Myriad 的项目以并置方式使用它们。

Kubernetes - 用于自动部署、扩展和管理容器化应用程序的开源系统。因此它用于以容器化方式运行 Spark 应用程序。谷歌、微软、亚马逊等大多数云供应商都提供 Kubernetes 平台作为云端服务。我们还可以使用 on-prim K8S 集群以容器化的方式运行 Spark 应用程序。这里的容器是 Docker 或 CGroups/Linux Container。

Nomad - 这是另一个用于运行 Spark 应用程序的开源系统。该集群管理器作为集群管理器并未被 Spark 项目正式支持。

Out of all above modes, Apache Mesos has better resourcemanagement capabilities.

请查看此链接，其中包含有关 Yarn 与 Mesos 的专业知识的详细解释。 http://www.quora.com/How-does-YARN-compare-to-Mesos