hadoop - 我应该使用 PIG 从 HIVE 将数据加载到 HBase 还是有更好的方法？

Question

我必须将数据从 HIVE 加载到 HBase 表中。我知道有多种方法可以做到这一点，例如:

• 从 HIVE 生成 CSV，然后使用批量加载将其转换为 HFile 以加载数据
• 使用MapReduce生成HFile
• 使用PIG脚本生成并加载HFile
• 或者是否有可用的直接转换器？

您能否通过推荐最佳方法来指导我？

我们没有在这个用例中使用 phoenix。

Answer 1

您可以使用 HBASE integration :

CREATE TABLE hbase_table_1(key int, value string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz");

然后将您的数据加载到 Hive 表中，因为是同一张表，还将加载 HBase。