hadoop - 如何在hadoop配置中选择目录列表？

Question

我已经下载了companion files脚本来设置hadoop配置。它包含带有以下块的/scripts/directories.sh文件:

# Space separated list of directories where NameNode will store file system image. For example, /grid/hadoop/hdfs/nn /grid1/hadoop/hdfs/nn
DFS_NAME_DIR="TODO-LIST-OF-NAMENODE-DIRS";

# Space separated list of directories where DataNodes will store the blocks. For example, /grid/hadoop/hdfs/dn /grid1/hadoop/hdfs/dn /grid2/hadoop/hdfs/dn
DFS_DATA_DIR="TODO-LIST-OF-DATA-DIRS";

# Space separated list of directories where SecondaryNameNode will store checkpoint image. For example, /grid/hadoop/hdfs/snn /grid1/hadoop/hdfs/snn /grid2/hadoop/hdfs/snn
FS_CHECKPOINT_DIR="TODO-LIST-OF-SECONDARY-NAMENODE-DIRS";

“目录列表”是什么意思？据我了解，列表应该是来自不同HDD的目录，如果我仅使用一个驱动器(例如，出于测试目的)，仅创建和设置一个驱动器就足够了。我错了吗？

Answer 1

Hadoop中的一般原则是拥有更多磁盘总是有帮助的，例如，给NameNode分配多个磁盘可以让NameNode将其元数据复制到多个磁盘上-因此NameNode可以承受单个磁盘故障，类似地，为DataNode分配更多磁盘将使DataNode可以以循环方式将数据剥离并写入所有磁盘，以提高吞吐量。同样，所有守护程序都利用多个磁盘(如果提供)。

As I understand list shpuld be a directories from different HDD

是的，建议将每个单独的磁盘安装到一个单独的目录，否则，如果您提供多个目录，并且所有目录都在同一物理磁盘上创建，则多个守护程序/线程将在磁盘I / O上成为瓶颈。

and if I use only one drive (for testing purposes for example) it is enough to create and set only one

是的，出于测试目的，只要您有足够的空间，只需提供一个目录即可安装到单个物理磁盘甚至根分区。