hadoop - 来自 HTable 的 MapReduce 输入

Question

我有一个 MapReduce 作业，其输入来自 HTable。在 Java MapReduce 代码中，如何将作业输入格式设置为 HBase TableInputFormat ？

有没有类似JDBC连接的东西连接到HTable数据库？

Answer 1

如果您的客户端和 HBase 在同一台机器上运行，则无需为客户端配置任何内容即可与 HBase 通信。只需创建一个 HBaseConfiguration 实例并连接到您的 HTable:

Configuration conf = HBaseConfiguration.create();
HTable table = new HTable(conf, "TABLE_NAME");

但是，如果您的客户端在远程机器上运行，它会依赖 ZooKeeper 来与您的 HBase 集群通信。因此，客户端在继续之前需要 ZooKeeper 集合的位置。这就是我们通常配置客户端以使它们连接到 HBase 集群的方式:

Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "ZK_MACHINE_IP/HOSTNAME");
conf.set("hbase.zookeeper.property.clientPort","2181");
HTable table = new HTable(conf, "TABLE_NAME");

这就是您通过 Java API 执行此操作的方式。 HBase 还支持其他一些 API。您可以在此找到更多信息 here .

关于您的第一个问题，如果您需要在 MR 作业中使用 TableInputFormat 作为 InputFormat，您可以通过 Job 对象来实现，如下所示:

job.setInputFormatClass(TableInputFormat.class);

希望这能回答您的问题。