hadoop - 如何在 Mesos 集群上运行 Hadoop？

Question

我正在尝试设置 Apache Mesos 集群并在其上运行 Hadoop-Job。文档 here不在我的水平，所以我无法理解，也许这里有人可以解释我:

我应该首先设置一个可用的 Hadoop 集群吗？还是先搭建一个Mesos集群？我要把奴隶指向哪里？在 Hadoop-slaves 文件中或注册的 Mesos slaves 应该只被使用？

Answer 1

Mesos 的目标是为您的集群运行一个抽象，其中 Hadoop 只是其中的一项服务。为了让它工作，您需要首先将您的 Mesos 集群设置为主要组件，然后您可以开始使用 Mesos 抽象将 Hadoop 等服务添加到该集群。

有an excellent tutorial来自 Mesosphere，您应该看一看，它详细解释了如何在 Mesos 之上运行 Hadoop，因此这将是一个很好的起点。

或者，该公司最近开始为 Elastic Mesos 提供服务，本质上类似于 Amazon 的 Elastic MapReduce。因此，如果您想快速开始使用 Mesos 上的 Hadoop，而不必经历配置一切的痛苦，这是一个很好的起点。