java - 在hadoop中序列化数组

Question

我想序列化字符串数组“文本数据”，并将其从映射器发送到reducer

  public void map(LongWritable key, Text value, OutputCollector< IntWritable,Text > 
                 output, Reporter reporter) throws IOException {

                  Path pt=new Path("E:\\spambase.txt");
                 FileSystem fs = FileSystem.get(new Configuration());
                BufferedReader textReader=new BufferedReader(new InputStreamReader(fs.open(pt)));


             int numberOfLines =  readLines( );
             String[ ] textData = new String[numberOfLines];
                 int i;
                 for (i=0; i < numberOfLines; i++) {
                 textData[ i ] = textReader.readLine();
                 }
                 textReader.close();

Answer 1

您似乎对MapReduce流程的工作方式有一些误解。

理想情况下，映射器不应读取其内部的整个文件。

Job对象为给定的输入路径生成InputSplits的集合。
默认情况下，Hadoop读取路径中每个拆分的一行(输入可以是目录)，也可以只读取给定文件。
每行一次以输入的Text value偏移量传递到 map 类的LongWritable key中。

目前尚不清楚您要输出的内容，但您正在寻找ArrayWritable类，并使用output.collect()将数据序列化到reducer。但是，您需要从IntWritable, Text修改映射器输出类型以使用output.collect(some_key, new ArrayWritable(textData))
值得指出的是，您使用的是不推荐使用的mapred库，而不是mapreduce库。该E:\\并非hdfs路径，而是本地文件系统。