hadoop - 为什么在使用 hadoop fs -put 命令时 mapreduce 没有启动？

Question

请原谅这个基本问题。但我想知道为什么当我们尝试加载一些大小大于 block 大小时的 mapreduce 作业没有启动。

我在某个地方了解到 MapReduce 将负责将数据集从 LFS 加载到 HDFS。那为什么当我给 hadoop fs -put 命令时我无法在控制台上看到 mapreduce 日志？

提前致谢。

Answer 1

您正在考虑将生成 MapReduce 作业的 hadoop distcp。

https://hadoop.apache.org/docs/stable/hadoop-distcp/DistCp.html

DistCp Version 2 (distributed copy) is a tool used for large inter/intra cluster copying. It uses MapReduce to effect its distribution, error handling and recovery, and reporting. It expands a list of files and directories into input to map tasks, each of which will copy a partition of the files specified in the source list.

hadoop fs -put 或 hdfs dfs -put 完全由 HDFS 实现，不需要 MapReduce。