hadoop - MR reducer 中的输出 HBase 增量

Question

我有一个写入 HBase 的 mapreduce 作业。我知道您可以使用 TableMapReduceUtil 从 reducer 输出 Put 和 Delete。

是否可以发出 Increment 来增加 HBase 表中的值，而不是发出 Puts 和 Gets？如果是，怎么做，如果不是，那为什么？

我正在使用 CDH3

public static class TheReducer extends TableReducer<Text, Text, ImmutableBytesWritable>  {  
    public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {         
        ///....DO SOME STUFF HERE
        Increment increment = new Increment(row);
        increment.addColumn(col,qual,1L);
        context.write(null, increment); //<--- I want to be able to do this                             
        }
}

谢谢

Answer 1

据我所知，您不能在上下文中使用增量 - 但您始终可以打开到 HBase 的连接并在任何地方写入增量(映射器、映射器清理、缩减器等)

请注意，增量不是幂等的，因此在 map/reduce 作业部分成功和/或如果您对 M/R 进行推测执行(即多个映射器执行相同的工作)时，结果可能会有问题