hadoop - 在reduce任务中调用htable.get(rowID)对于随机行返回NULL

Question

在我的hadoop映射器任务中，我通过扫描hbase表来创建[key，value] = [sortKey，rowID]
在reduce任务中，当我执行Result = Htable.get(rowID)时，对于不同的rowId，一些返回随机返回null。但是在hbase shell中进行查询时，能够获取相同的rowId。对于输入的hbase表行计数为1000(映射器能够获取所有这些记录)，大约100条记录将htable.get(rowID)返回为null(在reducer中)，但是表中实际上所有这100条记录都可用。

任何想法为什么在htable上的“get”会随机返回null？任何缓存或内存调整将解决此问题？

我正在使用hadoop-1.0.3，hbase-0.92.1

Answer 1

我正在使用哈希图存储那些文本行标识，而这是因为它指向循环内的相同位置。由于我正在循环内进行一些更新/删除，因此未找到某些行ID。将哈希表更改为字符串，或者创建一个新的Text对象，然后将其添加到哈希表中即可解决此问题。