hadoop - 在同一台机器上运行多个数据节点

Question

我有一些与我们计划在生产环境中实现的 hadoop 相关的问题

我们有一个大型机器集群，每台机器都是一台具有大 RAM 和 8 核的服务器机器。每 40 台机器每 5 分钟收集大约 60 GB 的数据。这些机器也分布在多个地点并位于世界各地。有一台单独的服务器机器，它将在 hadoop 环境中充当名称节点。休息所有 40 台机器，它们是数据收集器，我将它们作为 hadoop 集群的一部分作为数据节点。

由于每台机器上的数据收集量都很高​​，我不希望我的数据跨服务器、跨地域传输。所以这是我的 2 个要求

1) 我想要的是将我的 60 GB 数据分成 block ，但应该在本地处理。为此，我想在同一台服务器上拥有多个数据节点守护进程。是否可以在同一台服务器上运行多个数据节点守护进程？

2) 是否可以处理指定数据节点上的 block 。

我举个例子来说明我的观点假设我有服务器机器 A、B、C、D......................

一台机器每 5 分钟将有 60 GB 的数据。我可以在 A 机器上运行多个 datanodes 守护进程吗？如果可能的话，我可以告诉我的名称模式只将 block 发送到服务器 A 上运行的数据节点守护进程，而不是其他机器。

我不想要数据的高可用性，也不需要故障安全，所以不需要复制数据。

Answer 1

要在单个节点上启动多个数据节点，首先下载/构建 hadoop 二进制文件。

1) 下载 hadoop 二进制文件或从 hadoop 源构建 hadoop 二进制文件。

2) 准备 hadoop 配置以在单个节点上运行(将 Hadoop 默认 tmp 目录位置从/tmp 更改为其他可靠位置)

3) 将以下脚本添加到 $HADOOP_HOME/bin 目录，并将其修改为 744。

4) 格式化 HDFS – bin/hadoop namenode -format (for Hadoop 0.20 and below), bin/hdfs namenode -format (for version > 0.21)

5) 启动 HDFS bin/start-dfs.sh(这将启动 Namenode 和 1 个数据节点)，可以在 http://localhost:50070 上查看

6) 使用 bin/run-additionalDN.sh 启动额外的数据节点 More Details

运行-additionalDN.sh

#!/bin/sh
# This is used for starting multiple datanodes on the same machine.
# run it from hadoop-dir/ just like 'bin/hadoop' 

#Usage: run-additionalDN.sh [start|stop] dnnumber
#e.g. run-datanode.sh start 2

DN_DIR_PREFIX="/path/to/store/data_and_log_of_additionalDN/"

if [ -z $DN_DIR_PREFIX ]; then
echo $0: DN_DIR_PREFIX is not set. set it to something like "/hadoopTmp/dn"
exit 1
fi

run_datanode () {
DN=$2
export HADOOP_LOG_DIR=$DN_DIR_PREFIX$DN/logs
export HADOOP_PID_DIR=$HADOOP_LOG_DIR
DN_CONF_OPTS="\
-Dhadoop.tmp.dir=$DN_DIR_PREFIX$DN\
-Ddfs.datanode.address=0.0.0.0:5001$DN \
-Ddfs.datanode.http.address=0.0.0.0:5008$DN \
-Ddfs.datanode.ipc.address=0.0.0.0:5002$DN"
bin/hadoop-daemon.sh --script bin/hdfs $1 datanode $DN_CONF_OPTS
}

cmd=$1
shift;

for i in $*
do
run_datanode  $cmd $i
done

希望对你有帮助