hadoop - Hadoop DFS 的 CopyFromLocal 命令如何工作？

Question

我对 Hadoop 分布式文件系统的设置方式以及我的特定设置如何影响它感到有点困惑。我使用本指南进行设置 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/在 Virtual Box 上使用两个虚拟机并运行示例(只是一个简单的带有 txt 文件输入的字数统计)。到目前为止，我知道数据节点管理和检索其节点上的文件，而任务跟踪器分析数据。

1) 当您使用命令 -copyFromLocal 时，您是否正在将文件/输入复制到 HDFS？ Hadoop 是否知道如何在 slaves/master 之间划分信息，它是如何做到的？

2) 在上面链接的指南中概述的配置中，技术上是否有两个从站(主站既是主站又是从站)？这是常见的还是master机器通常只给jobtracker/namenode任务？

Answer 1

这里有很多问题。

问题2)

1. 有两台机器
2. 这些机器针对 HDFS 和 Map-Reduce 配置。
3. HDFS 配置需要 Namenode(master)和 Datanodes(Slave)
4. Map-reduce 需要 Jobtracker(主)和 Tasktracker(从)
5. 只配置了一个 Namenode 和 Jobtracker，但是你可以在两台机器上都有 Datanode 和 Tasktracker 服务。充当主从的不是机器。这只是服务。您也可以在包含主服务的机器上安装从属服务。它适用于简单的开发设置。在大规模部署中，您将主服务专用于单独的机器。

问题 1 第 2 部分)

1. 创建文件 block 并以复制方式存储在多个数据节点上是 HDFS 的工作。你不必担心。

问题 1 第 1 部分)

1. Hadoop 文件操作的模式类似于典型的 Unix 文件操作 - ls、put 等
2. Hadoop fs -put localefile/data/somefile --> 将本地文件复制到 HDFS 路径/data/somefile
3. 使用 put 选项，您还可以从标准输入读取并写入 HDFS 文件
4. copyFromLocal 类似于 put 选项，只是行为仅限于从本地文件系统复制到 HDFS
5. 参见:http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html#copyFromLocal