java - 关于如何为 Hbase 编写 Hadoop InputFormat/OutputFormat 的任何想法

Question

有没有人有编写从 Hbase 获取日期的 Hadoop InputFormat/OutputFormat 的经验？

我想要比 HbaseTableInputFormat 更具体的东西，因为我的想法是将我的业务对象直接返回到 mapred 程序。这意味着能够构建一个可以分布在多行中的对象。

谢谢你的帮助哎呀

Answer 1

您可以扩展 RecordReader 和/或 FileInputFormat 并在其中实现您需要执行的操作。也许扩展 HbaseTableInputFormat 并覆盖你需要不同行为的功能。(没有使用过 HbaseTableInputFormat 所以不确定你会做什么，只是一个想法)

在我参与的项目中，我们必须扩展 RecordReader 和 FileInputFormat 才能处理 WC3 日志文件。原因是要确保每个映射器都可以访问 header ，这些 header 仅位于文件的顶部，而不是每个 block 。

我还没有扩展这些，也不确定你的具体情况，它可能(或不)可以使用 RecordReader 和/或 FileInputFormat 扩展和实现不同的功能。

不幸的是，我不熟悉我想要的系统，因此我可以通过进一步的建议对其进行详细说明。
希望我所说的能为您指明正确的方向。 :)