java - 如何通过 hadoop mapreduce 作业访问 windows/unix 目录中的文本文件

Question

我想将windows/unix环境下的日志文件按照特定的目录结构复制到HDFS中。我知道我可以在 hadoop shell 中执行 copyFromLocal，但是否可以使用 Mapper 通过 java 代码执行。

Answer 1

如果你的意思是将本地文件(或目录)从本地机器复制到 HDFS，代码如下:

    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path localPath = new Path("your_local_path");
    Path remotePath = new Path("your_hdfs_path");
    fs.copyFromLocalFile(localPath, remotePath);