hadoop - 如何从另一个 Hbase 表连接 Hbase 表？

Question

大家

我是 Hadoop World 的新手，我在加入 Hbase 时遇到了一些问题。

我有两个集群，clusterA 的 Hbase 有员工表，clusterB 的 Hbase 有部门表。

那么，如何加入员工和部门呢？

我需要安装 Hive 吗？

Answer 1

如果表位于两个独立的集群中，您需要将其中一个 HBase 表从一个集群转移到另一个集群。这可以通过 sqoop 完成。

理论上，您可以按照 Vignesh I 在评论中的建议使用 Phoenix，但是，那里有一些限制。您需要为这两个 HBase 表创建一个 Phoenix View 。目前，Phoenix 中的原生 HBase View 在 Phoenix 之外更新时不会自动更新，而大多数原生 HBase 表将是。这有效地在 Phoenix 快照中呈现原生 HBase 表的 View ，而不是 View ；您将需要定期重建所有索引(可能还有统计数据)，以便捕获对底层 HBase 表的任何更新。

有一个 JIRA 打开来增强此行为，以便它可以自动更新，但目前尚不知道此类功能的预计到达时间。

除非您有非常具体的实时需求(在这种情况下 Phoenix，如果您可以忍受 View 限制，这可能是更好的选择)，我建议使用 Pig .

在 Pig 脚本中，您可以连接两个 HBase 表，然后执行各种转换。

Hive 是另一种选择，但在那种情况下，您需要将 sqoop 两个表从 HBase 放入 Hive，然后在 Hive 中从那里继续。