hadoop - hadoop是否自动将输入文件复制到HDFS上？

Question

使用hadoop流:

hadoop jar hadoop/contrib/streaming/hadoop-streaming-1.0.3.jar -file mapper.rb -mapper mapper.rb -file reducer.rb -reducer reducer.rb -input textfile.txt -output output

假设我所在的目录是“/ home / user / sei / Documents”和textfile.txt

1) is in the same folder as the directory I am currently in 
2) I did not use -copyFromLocal to put textfile.txt into HDFS

hadoop是否自动将输入文件(在这种情况下为textfile.txt)复制到HDFS上的某个位置(即在执行时自动“/user/sei/textfile.txt”)以进行处理？这是否适用于hadoop命令的所有情况(即hadoop jar jarfile myfilename )

Answer 1

不，它不会将记录复制到HDFS中，您必须自己做。如果您正在运行单个节点，或在一台计算机上运行伪分布式集群，则可以使用本地文件路径。但是，如果您正在运行分布式集群，则映射器和精简器将无法找到该文件。