Hadoop客户端节点安装

Question

我有 12 个节点的集群。它的硬件信息是:

NameNode: CPU Core i3 2.7 Ghz | 8GB 内存 | 500 GB 硬盘

数据节点: CPU Core i3 2.7 Ghz | 2GB 内存 | 500 GB 硬盘

我已经安装了 hadoop 2.7.2。我在 ubuntu 上使用正常的 hadoop 安装过程，它工作正常。但是我想添加客户端机器。我不知道如何添加客户端机器。

问题:

1. 客户端机器的安装过程。 ？
2. 如何在该客户端机器上运行 pig/hive 的任何脚本？

Answer 1

客户端应该有相同的 Hadoop 分发副本和 Namenode 上的配置，然后只有客户端会知道在哪个节点上运行 Job tracker/Resourcemanager，以及 Namenode 的 IP 来访问 HDFS 数据。

您还需要使用名称节点和数据节点的 IP 地址和主机名更新客户端计算机的 /etc/hosts。请注意，您不应在客户端计算机上启动任何 hadoop 服务。

在客户端计算机上执行的步骤:

• 在集群上创建一个用户帐户，例如 user1
• 在客户端计算机上创建一个同名帐户:user1
• 配置客户端机器以访问集群机器(ssh w\out 密码，即无密码登录)
• 将与集群相同的 hadoop 分发复制/获取到客户端计算机并将其解压缩到 /home/user1/hadoop-2.x.x
• 从集群的 Namenode 复制(或编辑)hadoop 配置文件 (*-site.xml) - 从这个客户端将知道 Namenode/resourcemanager 在哪里运行。
• 设置环境变量:JAVA_HOME, HADOOP_HOME (/home/user1/hadoop-2.x.x)
• 将 hadoop bin 设置为您的路径:export PATH=$HADOOP_HOME/bin:$PATH

测试一下:hadoop fs -ls/ 应该会列出集群 hdfs 的根目录。

您可能会遇到一些问题，例如权限，可能需要在客户端计算机上设置 JAVA_HOME 位置，例如 conf/hadoop-env.sh。更新/评论您遇到的任何错误。

从评论中回答更多问题:

1. 如何将数据从客户端节点加载到 hdfs？ - 只需从客户端计算机运行 hadoop fs 命令:hadoop fs -put/home/user1/data/*/user/user1/data - 如果您需要多次运行这些命令，您还可以编写运行这些命令的 shell 脚本。

2. 如果我们只使用 ssh 远程连接到主节点，为什么我要在客户端上安装 hadoop？

   • 因为客户端需要和集群通信，需要知道集群节点所在的位置。
   • 客户端将运行 hadoop 作业像 hadoop fs 命令、hive 查询、hadoop jar commnads、spark客户需要的工作，开发 mapreduce 工作等客户端节点上的 hadoop 二进制文件。
   • 基本上，您不仅使用 ssh 来连接，但您正在从 hadoop 集群上执行一些操作客户端节点，因此您需要 hadoop 二进制文件。
   • ssh 被使用客户端节点上的 hadoop 二进制文件，当您运行诸如 hadoop fs 之类的操作时
-ls/ 从客户端节点到集群。 (请记住将 $HADOOP_HOME/bin 添加到 PATH 作为上述安装过程的一部分)
   • 当你说“我们只使用 ssh”时 - 这对我来说听起来就像你想从你正在使用 ssh 连接的集群中进行更改/访问 hadoop 配置文件 到集群节点 - 你这样做是作为管理工作的一部分，但是当你需要从客户端节点对集群运行 hadoop 命令/作业时，你不需要手动 ssh - 客户端节点上的 hadoop 安装会小心
   • 如果没有安装 hadoop，如何从客户端节点到集群运行 hadoop 命令/作业/查询？

   3。用户名“user1”必须相同吗？如果不同怎么办？ - 它会起作用。您可以在组用户下的客户端节点上安装 hadoop 说:qa 或 dev，并且客户端节点上的所有用户都作为该组下的 sudo。比客户端节点上的 user1 需要在集群上运行任何 hadoop 作业时:user1 应该能够 sudo -i -u qa 然后运行来自它的 hadoop 命令。