mapreduce - 如何有效扫描HBase行

Question

我需要编写一个MapReduce作业，该作业将获取给定日期范围(例如上个月)中的所有行。如果“我的行 key ”以Date开头，那将是一条小路。但是我频繁的Hbase查询是关于key的起始值的。

我的行键完全是 A | B | C | 20120121 | D 。其中，A/B/C与日期(YearMonthDay格式)的组合构成唯一的行ID。

我的Hbase表最多可以有几百万行。我的Mapper是否应该读取所​​有表格并过滤每行(如果它在给定的日期范围内)，或者“扫描/过滤器”可以帮助处理这种情况？

有人可以建议(或一小段代码)有效处理这种情况的方法吗？

谢谢
-坦克

Answer 1

您可以将RowFilter与RegexStringComparator一起使用。您需要提出一个RegEx，以适本地过滤您的日期。 This page的示例包括为MapReduce扫描仪设置过滤器。