hadoop - 建立在 HDFS 之上的 Apache HAWQ 安装

Question

我想安装基于Hadoop的Apache HAWQ。

在安装 HAWQ 之前，我应该安装 Hadoop 并配置我所有的节点。

我有四个节点如下，我的问题是一样的。

我应该为 hawq-master 安装一个 hadoop 发行版吗？

1. hadoop-master   //namenode, Secondary Namenode, ResourceManager, HAWQ Standby, 
2. hawq-master     //HAWQ Master
3. datanode01      //Datanode, HAWQ Segment
4. datanode02      //Datanode, HAWQ Segment

如上我在节点旁边写了每个节点的作用。在我看来，我应该为 hadoop-master、datanode01 和 datanode02 安装 hadoop 并且我应该设置 hadoop-master 作为 namenode(master)，其他作为 datanode(slave)。然后，我将在所有节点上安装 apache HAWQ。我将设置hawq-master为主节点，hadoop-master作为HAWQ Stand by，最后将另外两个节点作为HAWQ segment。

我想要的是安装基于Hadoop的HAWQ。所以，我认为hawq-master应该建立在hadoop之上，但与hadoop-master没有任何联系。

如果我继续上述过程，那么我认为我不必在 hawq-master 上安装 hadoop 发行版。基于hadoop的HAWQ安装成功我的想法对吗？

如果 hadoop 应该安装在 hawq-master 上，那么哪个是正确的？

1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.

任何帮助将不胜感激。

Answer 1

老实说，如果配置正确，hadoop和hawq的安装方式并没有严格的限制。

对于您的关注，“我认为hawq-master应该建立在hadoop之上，但与hadoop-master没有任何联系”。 IMO，应该是“hawq 应该建立在 hadoop 之上”。我们配置了 hawq-master conf 文件(hawq-site.xml)使 hawq 与 hadoop 建立连接。

通常，对于hawq master和hadoop master，我们可以将每个组件安装在一个节点上，但是我们可以在一个节点上安装其中的一些组件以节省节点。但是对于HDFS datanode和HAWQ segment，我们往往是一起安装的。考虑到每台机器的工作量，我们可以按如下方式安装它们:

                     hadoop             hawq
 hadoop-master       namenode           hawq standby
 hawq-master         secondarynamenode  hawq master
 other node          datanode           segment

如果你用yarn integration配置hawq，集群中会有resourcemanager和nodemanager。

                     hadoop role                hawq role
 hadoop-master       namenode                   hawq standby
 hawq-master         snamenode,resourcemanager  hawq master
 other node          datanode, nodemanager      segment

将它们安装在一起并不意味着它们有连接，是您的配置文件使它们可以相互访问。您可以将所有主组件安装在一起，但对于机器来说可能太重了。在 http://incubator.apache.org/projects/hawq.html 阅读有关 Apache HAWQ 的更多信息并在 http://hdb.docs.pivotal.io/211/hdb/index.html 阅读一些文档.

此外，您可以订阅开发和用户邮件列表，发邮件至dev-subscribe@hawq.incubator.apache.org/user-subscribe@hawq.incubator.apache.org订阅并发邮件至dev@hawq .incubator.apache.org/user@hawq.incubator.apache.org 提问。