hadoop - 将 Mapreduce 作业的 Reducer 输出写入单个文件

Question

我已经为 HBase 中的数据编写了一个 map-reduce 作业。它包含多个映射器和一个 reducer。 Reducer 方法接收映射器提供的数据并对其进行一些分析。在 HBase 中的所有数据处理完成后，我想通过单个 Reducer 将数据写回 HDFS 中的文件。目前每次拿到新的数据都可以写到HDFS，但是最后不知道怎么把最后的结论写到HDFS。

Answer 1

因此，如果您尝试将单个 reducer 的最终结果写入 HDFS，您可以尝试以下任何一种方法 -

1. 使用 Hadoop API FileSystem 的 create() 函数从 reducer 写入 HDFS。
2. 在最终计算后从 reducer 发出单个键和值
3. 覆盖 Reducers cleanup() 函数并在那里执行第 (1) 点。

3 的详细信息:

http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapreduce/Reducer.html#cleanup-org.apache.hadoop.mapreduce.Reducer.Context-

希望这对您有所帮助。