hadoop - MapReduce-生成HDFS路径

Question

我想在我的映射器代码上生成HDFS路径。 FileSystem具有我们可以在CLI中执行的所有方法，例如put，get，mkdir等...，但是当HDFS中已经存在目录时，无法获取方法，如何在我的映射器或化简器代码中生成其路径。

我正在使用MR2 ..

谢谢。

Answer 1

从input.txt读取HDFS

  public class HdfsRead {
        public static void main(String[] args) throws IOException {

            String uri = args[0];

            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(URI.create(uri), conf);
            FSDataInputStream in = null ;
            try
            {byte [] buffer = new byte[256];
                in = fs.open(new Path(uri));
                    IOUtils.copyBytes(in, System.out, 4096, false);    

            }
            finally
            {
                IOUtils.closeStream(in);
            }   
        }
    }

检查文件是否已存在，将其删除

FileSystem fs = FileSystem.get(conf);
Path path =  new Path(args[0]);
if(fs.exists(path)){
    fs.delete(path);
}

commandline argument 
args[0] = "hdfs://localhost:9000/input.txt"