hadoop - 如何在 Hadoop 中创建和读取目录 - Mapreduce Job 工作目录

Question

我想在 Hadoop 中的 MapReduce 作业的工作目录中创建一个目录。

例如使用: 文件 setupFolder = new File(setupFolderName); setupFolder.mkdirs();

在我的映射器类中写入一些中间文件。这是正确的方法吗？

此外，在完成工作后，如果我愿意，我将如何再次访问该目录？

请指教。

Answer 1

如果您使用的是 java，您可以覆盖 setup 方法并在那里打开文件处理程序(并在 cleanup 中关闭它)。此句柄将对所有映射器可用。

我假设您不是在这里写所有的 map 输出，而是写一些调试/统计信息。使用此处理程序，您可以按照本例 (http://wiki.apache.org/hadoop/HadoopDfsReadWriteExample) 所示进行读写

如果您想阅读整个目录，请查看此示例 https://sites.google.com/site/hadoopandhive/home/how-to-read-all-files-in-a-directory-in-hdfs-using-hadoop-filesystem-api

请记住，您将无法依赖写入文件的数据顺序。