hadoop - 使用 pig 在hbase中批量加载

Question

我在 HDFS 中有一个日志文件需要解析并放入 Hbase 表中。

我想使用 PIG 来做到这一点。

我该怎么做。Pig 脚本应该解析日志，然后放入 Hbase？

Answer 1

pig 脚本是(假设制表符是您在日志文件中的数据分隔符):

A= load '/home/log.txt' using PigStorage('\t') as (one:chararray,two:chararray,three:chararray,four:chararray);

STORE A INTO 'hbase://table1' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('P:one,P:two,S:three,S:four');