Hadoop 集群和客户端连接

Question

我有 hadoop 集群。现在我想将 pig 和 hive 作为客户端安装在另一台机器上。客户端计算机不会成为该集群的一部分，这可能吗？如果可能的话，我如何将该客户端计算机连接到集群？

Answer 1

首先，如果你有Hadoop集群那么你必须有Master节点(Namenode) + Slave节点(DataNode)

另一件事是客户端节点。Hadoop集群的工作是:

这里Namenode和Datanode组成Hadoop Cluster，Client向Namenode提交作业。

为此，客户端应具有与 Namenode 上相同的 Hadoop 分发和配置副本。然后只有Client会知道Job tracker在哪个节点上运行，以及访问HDFS数据的Namenode的IP。

转到 Link1 Link2用于客户端配置。

根据您的问题

完成Hadoop集群配置后(Master+slave+client)。您需要执行以下步骤:

1. 在主节点上安装 Hive 和 Pig
2. 在客户端节点上安装 Hive 和 Pig
3. 现在开始在客户端节点上编写 pig/hive。

如有疑问，请随时发表评论......!!!!!!