hadoop - HBase表批量加载详细步骤

Question

我是 HBase 的新手。有人可以为我提供有关如何在 HBase 表中完成批量加载的详细示例。

例如，我有一个包含 10 列和 10 万行的客户文件。我想将文件加载到 HBase 表中。

我创建了一个由 HIVE 管理的 HBase 表，并尝试使用 LOAD 命令加载它，但失败了。

看来我只能从 HBase 插入表。

hive (Koushik)> CREATE TABLE hive_hbase_emp_sample(eid int, ename string, esal double) 
              > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
              > WITH SERDEPROPERTIES 
              > ("hbase.columns.mapping" = ":key,cfstr:enm,cfsal:esl")
              > TBLPROPERTIES ("hbase.table.name" = "hive_hbase_emp_sample");
OK
Time taken: 6.404 seconds

hive (Koushik)> load data local inpath '/home/hduser/sample_emp_file' into table hive_hbase_emp_sample;
FAILED: SemanticException [Error 10101]: A non-native table cannot be used as target for LOAD

Answer 1

您不能直接使用加载来定位 HbaseStorage 处理程序非 native 表，而是将数据加载到临时表中，然后使用 select * from staging table 插入到您的 Hbase 表中