java - 相当于 mongo 的输出 :reduce option in hadoop

Question

我正在重写 MongoDB map reduce 作业以改用 Hadoop(使用 mongo-hadoop 连接器)，但是当我将两个数据集映射到同一个集合时，它会覆盖值而不是使用它们

{ reduce : "collectionName" } - If documents exists for a given key in the result set and in the old collection, then a reduce operation (using the specified reduce function) will be performed on the two values and the result will be written to the output collection. If a finalize function was provided, this will be run after the reduce as well.

如何使用 mongo-hadoop 完成？

Answer 1

Mongo-Hadoop 目前只支持覆盖目标集合。但是，可以将多个作业链接在一起，从而允许您将 MR 输出发送到一个新作业中，该作业也从旧集合中读取。