hadoop - pig HBASE 失败；存储 CSV

Question

我从环境 Hadoop、HBase、Pig 开始；我会将数据库存储在 Hbase 表上；这是我的要求:

hbase->创造创建我的数据库。

我在 HDFS 文件上重新启动了我的 CVS 文件hadoop dfs-copyFromLocal ~/data.csv/user/hduser/location.csv

我执行了我的请求 PIG

raw_data = LOAD '/user/hduser/data.csv' USING PigStorage (';') AS (世界气象组织:国际，成熟度:charArray，温度:整数，temps_present:整数，direction_du_vent:整数，force_du_vent:整数，压力:整数)；

存储到 raw_data 'hbase ://TrafficFlowGrenoble' 使用org.apache.pig.backend.hadoop.hbase.HBaseStorage (WMO: int maturity: charArray temperature: int temps_present: direction_du_vent int int force_du_vent int pressure: int ');

这是我的错误:2013-07-22 22:30:31,870 [main] 错误 org.apache.pig.tools.pigstats.PigStatsUtil - 1 个 map REDUCE 作业失败!2013-07-22 22:30:31,872 [main] INFO org.apache.pig.tools.pigstats.SimplePigStats - 脚本统计:

HadoopVersion PigVersion UserId StartedAt FinishedAt 特性1.1.2 0.11.1 hduser 2013-07-22 22:28:45 2013-07-22 22:30:31 未知

失败了!

失败的工作:JobId别名特征消息输出job_201307222219_0001 raw_data MAP_ONLY 消息:作业失败!错误 - 失败 JobCleanup 任务，任务:task_201307222219_0001_m_000001 hbase://TrafficFlowGrenoble,

输入:从“/user/hduser/data.csv”读取数据失败

输出:未能在“hbase ://TrafficFlowGrenoble”中生成结果

计数器:写入的总记录数:0写入的总字节数:0溢出内存管理器溢出计数:0主动溢出的袋子总数:0主动溢出记录总数:0

版本:hadoop-1.1.2 pig -0.11.1

export HBASE_HOME=/usr/lib/hbase

#export PIG_CLASSPATH=”${HBASE_HOME}/bin/hbase classpath:$PIG_CLASSPATH” export HADOOP_CLASSPATH=”${HBASE_HOME}/bin/hbase classpath:$HADOOP_CLASSPATH” #export PIG_CLASSPATH="$PIG_CLASSPATH:/usr/local/hbase/hbase-0.94.8.jar" export PIG_CLASSPATH="/usr/local/hbase/conf/hbase-site.xml:/usr/local/hbase/hbase-0.94.8.jar:/usr/local/hbase/lib/zookeeper-3.4.5.jar :/usr/local/hbase/lib/$ #export PIG_CLASSPATH=/home/nadir/Documents/pig-0.11.1.jar

Answer 1

如果上面的代码正是您所做的，那么您的输入文件是“/user/hduser/location.csv”而不是 data.csv，所以 Pig 找不到它