java - MapReduce:如何在没有换行符的情况下输出键/值对？

Question

我正在使用 0 reduce 方法来解决我的问题。我希望预处理一个文件中的数据，然后将其作为另一个文件写出，但没有换行符和制表符分隔符？我如何输出我的 map 作业，该作业已使用与其相同的文件格式处理了我的数据减去预处理。也就是说，我有这样的东西:

预处理:

<TITLE> Herp derp </Title> I am a major general  

后处理:

Herp 
Derp 
I 
am 
a
major
general

我想要它做的是:

Herp Derp I am a major general 

我认为问题在于这行代码:

job.setOutputFormatClass(TextOutputFormat.class);

但是，当我尝试时，很天真地做了类似的事情:

job.setOutputFormatClass(null);

这显然行不通。是否提供了我可以用来执行此操作的格式类？如果没有，我怎么能编写自己的类来输出我想要的所有内容？我是 hadoop 和 map reduce 的新手。

我在下面包含了我的 map 功能。我不想使用 reduce，因为它会在 map 和 reducer 之间排序。

        public void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {

            String line = value.toString();
            StringTokenizer tokenizer = new StringTokenizer(line);


            while (tokenizer.hasMoreTokens()) {

                word.set(tokenizer.nextToken());

                //Did preprocessing here, irrelevant to my problem

                context.write(word, null);
            }
        }

此外，我还用谷歌搜索并阅读了 apache hadoop api 以查看是否可以找到答案。

Answer 1

在您的映射器类中，不要将您的行解析为单独的单词并写出，而是尝试将整行发送到

context.write(word, null);

这样可以将您最初使用的整个字符串保持在一起，而不是逐行发送。

因此，将您的字符串分开以进行预处理工作，然后在使用 context.write 命令将其发送出去时将其放回原处。