gpt4 book ai didi

hadoop实现grep示例分享

转载 作者:qq735679552 更新时间:2022-09-29 22:32:09 27 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章hadoop实现grep示例分享由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

hadoop做的一个简单grep程序,可从文档中提取包含某些字符串的行 。

  。

复制代码代码如下:

/*  * 一个简单grep程序,可从文档中提取包含莫些字符串的行  */ 。

  。

public class grep extends Configured  implements Tool{ 。

 public static  class grepMap extends Mapper<LongWritable, Text, Text,NullWritable>{   public void map(LongWritable line,Text value,Context context) throws IOException, InterruptedException{    //通过Configuration获取参数    String str = context.getConfiguration().get("grep");    if(value.toString().contains(str)){     context.write(value, NullWritable.get());    }   }  }  @Override  public int run(String[] args) throws Exception {   if(args.length!=3){    System.out.println("ERROR");    System.exit(1);   }   Configuration configuration = getConf();   //传递参数   configuration.set("grep", args[2]);   Job job = new Job(configuration,"grep");   job.setJarByClass(grep.class);   job.setMapperClass(grepMap.class);   job.setNumReduceTasks(0);   job.setMapOutputKeyClass(Text.class);   job.setOutputValueClass(NullWritable.class);   Path in = new Path(args[0]);   Path out = new Path(args[1]);   FileSystem fileSystem = out.getFileSystem(configuration);   if(fileSystem.exists(out))    fileSystem.delete(out, true);   FileInputFormat.addInputPath(job, in);   FileOutputFormat.setOutputPath(job, out);   System.exit(job.waitForCompletion(true)?0:1);   return 0;  } 。

  。

最后此篇关于hadoop实现grep示例分享的文章就讲到这里了,如果你想了解更多关于hadoop实现grep示例分享的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com