java - 使用 mapreduce : Java, Pig 解析 twitter json

Question

我敢肯定您可能会发现这个问题有些“重复”，但我敢肯定我在发布相同问题之前已经完成了研究。我也为在此处的一个线程中发布 Java 和 Pig 问题而道歉，但只是不想为同一问题创建另一个线程。

我得到了一个包含一些 Twitter 摘录的 json 文件。我也在尝试使用 java MR & Pig 执行解析，但遇到了问题。下面是我尝试编写的 Java 代码:

public class twitterDataStore {
    private static final ObjectMapper mapper = new ObjectMapper();
    public static abstract class Map extends MapReduceBase implements 
    Mapper<Object, Text, IntWritable, Reporter>{

        private static final IntWritable one = new IntWritable();
        private Text word = new Text();

        public void map(Object key, Text value, OutputCollector<Text, IntWritable> context, Reporter arg3)
        throws IOException{
            try{
                JSONObject jsonObj = new JSONObject(value.toString());

                String text = (String) jsonObj.get("retweet_count");
                StringTokenizer strToken = new StringTokenizer(text);

                while(strToken.hasMoreTokens()){
                    word.set(strToken.nextToken());
                    context.collect(word, one);
                }
            }catch(IOException e){
                e.printStackTrace();
            } catch (JSONException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }

        }


    }
    public static class Reduce extends MapReduceBase implements Reducer<Object, Text, IntWritable, Reporter>{

        @Override
        public void reduce(Object key, Iterator<Text> value,
                OutputCollector<IntWritable, Reporter> context, Reporter arg3)
                throws IOException {
                    while(value.hasNext()){
                        System.out.println(value);
                        if(value.equals("retweet_count"))
                        {
                            System.out.println(value.equals("id_str"));
                        }

                    }
            // TODO Auto-generated method stub

        }

    }
    public static void main(String[] args) throws IOException{

        JobConf conf = new JobConf(twitterDataStore.class);
        conf.setJobName("twitterDataStore");

        conf.setMapperClass(Map.class);
        conf.setReducerClass(Reducer.class);

        conf.setOutputKeyClass(Text.class);
        conf.setOutputValueClass(IntWritable.class);

        conf.setInputFormat(TextInputFormat.class);
        conf.setOutputFormat(TextOutputFormat.class);

        FileInputFormat.setInputPaths(conf, new Path(args[0]));
        FileOutputFormat.setOutputPath(conf,new Path(args[1]));

        JobClient.runJob(conf);
    }

}

问题是，您现在可能已经明白了，我在执行 jar 时无法进行解析，很可能是因为 json jar 未包含在包中。我尝试使用此处提供的信息:“parsing json input in hadoop java”。但我无法通过任何选项。无论@Tejas Patil 建议和@Fraz 尝试过什么，我都无法解决我的问题。我还将粘贴此处生成的警告以供引用:

14/04/14 21:09:22 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

为了加载 Pig(0.11 版)，我写了一个 JsonLoader 加载来加载我的推文数据:

data = LOAD '/tmp/twitter.txt' using JsonLoader('in_reply_to_screen_name:chararray,text:chararray,id_str:long,place:chararray,in_reply_to_status_id:chararray, contributors:chararray,retweet_count:CHARARRAY,favorited:chararray,truncated:chararray,source:chararray,in_reply_to_status_id_str:chararray,created_at:chararray, in_reply_to_user_id_str:chararray,in_reply_to_user_id:chararray,user:{(lang:chararray,profile_background_image_url:chararray,id_str:long,default_profile_image: chararray,statuses_count:chararray,profile_link_color:chararray,favourites_count:chararray,profile_image_url_https:chararray,following:chararray, profile_background_color:chararray,description:chararray,notifications:chararray,profile_background_tile:chararray,time_zone:chararray, profile_sidebar_fill_color:chararray,listed_count:chararray,contributors_enabled:chararray,geo_enabled:chararray,created_at:chararray,screen_name:chararray, follow_request_sent:chararray,profile_sidebar_border_color:chararray,protected:chararray,url:chararray,default_profile:chararray,name:chararray, is_translator:chararray,show_all_inline_media:chararray,verified:chararray,profile_use_background_image:chararray,followers_count:chararray,profile_image_url:chararray, id:long,profile_background_image_url_https:chararray,utc_offset:chararray,friends_count:chararray,profile_text_color:chararray,location:chararray)},retweeted:chararray, id:long,coordinates:chararray,geo:chararray');

很抱歉在这里粘贴了所有不必要的内容，但只是不想错过解释中的任何内容。

我在将某些字段声明为“整数”时遇到了问题，但是当我将所有整数转换为字符数组时，该命令通过了检查。我在这里遇到的错误是

2014-04-14 21:19:24,977 [JobControl] WARN  org.apache.hadoop.mapred.JobClient - Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
2014-04-14 21:19:24,982 [JobControl] WARN  org.apache.hadoop.mapred.JobClient - No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).

同样的解析问题。我尝试在此加载之前注册 json jar，但仍然是同样的问题。谁能帮我解决这个问题？

提前致谢。-阿迪尔

Answer 1

您正在使用 TextInputFormat，因此当您执行 value.toString() 时，您会得到一行作为输入。不是整个 JSON 对象。

我推荐你使用这个:

https://github.com/alexholmes/json-mapreduce#an-inputformat-to-work-with-splittable-multi-line-json