hadoop - 使用或不使用 Hive 在 Amazon EMR 中处理日志

Question

我的 EMR 集群中有很多日志文件，路径为“hdfs:///logs”。每个日志条目都是多行，但有一个开始和结束标记来区分两个条目。现在，

1. 并非日志文件中的所有条目都是有用的
2. 有用的条目需要转换，输出需要存储在输出文件中，以便我以后可以高效地查询(使用 Hive)输出日志。

我有一个 python 脚本，它可以简单地获取一个日志文件并执行 a 部分。和 b。上面提到过，但我没有编写任何映射器或缩减器。

Hive 负责为其查询处理 Mappers 和 Reducers。请告诉我是否以及如何使用 python 脚本在所有日志上运行它并将输出保存在 'hdfs:///outputlogs' 中？

我是 Map Reduce 的新手，看过一些字数统计示例，但所有示例都有一个输入文件。在哪里可以找到具有多个输入文件的示例？

Answer 1

在这里我看到你有两个问题:

• 有多个文件作为输入

  如果您传入多个，则相同的字数统计示例将起作用文件作为输入。事实上，您可以很容易地将一个文件夹名称作为输入而不是文件名，在您的情况下为 hdfs:///logs。

  您甚至可以传递逗号分隔的路径列表作为输入，因为这而不是使用以下内容:

  FileInputFormat.setInputPaths(conf, new Path(args[0]));

  您可以使用以下内容:

  FileInputFormat.setInputPaths(job, args[0]);

  请注意，仅传递以逗号分隔的 args[0] 列表足够了。

• 如何将您的逻辑转换为 mapreduce

  这确实有一个陡峭的学习曲线，因为您需要考虑键和值的条款。但我觉得你可以拥有所有映射器本身的逻辑，并有一个 IdentityReducer，就像这样:

  conf.setReducerClass(IdentityReducer.class);

  如果您花时间阅读以下位置的示例，您应该能够更好地做出这些决定:

  • hadoop-map-reduce-examples ( http://hadoop-map-reduce-examples.googlecode.com/svn/trunk/hadoop-examples/src/ )
  • http://developer.yahoo.com/hadoop/tutorial/module4.html
  • http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/
  • http://kickstarthadoop.blogspot.in/2011/04/word-count-hadoop-map-reduce-example.html