hadoop - 如何在Hadoop集群上指定Datanote服务器

Question

我在4台服务器上运行Hadoop集群。我看到所有服务器都有TaskTracker和DataNone
我从hadoop/bin/start-all.sh开始集群

我有2个服务器的硬件磁盘非常少，所以我只希望这些服务器运行TaskTracker。

我应该如何配置hadoop？

Answer 1

hadoop/bin/start-all.sh实际上只调用hadoop/bin/start-dfs.sh，然后再调用hadoop/bin/start-mapred.sh，因此这提供了一种方便的方式来为两组守护程序使用不同的设置。最简单的方法是创建一个单独的文件(可能称为hadoop / conf / datanodes)，然后仅使用要成为数据节点的2台服务器填充该文件。大概您还拥有hadoop / conf / slaves，其中列出了所有4台服务器。

echo "my-datanode0" > hadoop/conf/datanodes
echo "my-datanode1" > hadoop/conf/datanodes

然后，分别运行这两个命令，请注意在第一个赋值语句之后没有分号，因为您需要环境变量才能传播到基础的“slaves.sh”调用中:

HADOOP_SLAVES=hadoop/conf/datanodes ./hadoop/bin/start-dfs.sh
./hadoop/bin/start-mapred.sh

继续检查端口50030，以获取JobTracker的TaskTrackers列表，然后检查端口50070，以获取NameNode的DataNodes列表，您应该一切顺利。