hadoop - 配置单元数据加载问题

Question

我需要帮助来解决 Hive 的数据加载问题。

背景:

我已经在 RHEL 5.5 中安装了 HDFS 1.0.3 和 Hive 0.7.1。我能够执行所有 HDFS 操作。当我尝试使用配置单元命令行加载配置单元表时，出现以下错误。

我尝试加载本地文件和 hdfs 文件。两者都给出了相同的错误。希望我错过了一些配置。请找到随附的屏幕截图。

我在 cloudera 中测试了脚本，它工作正常。

代码:

hive> describe dept;
OK
deptid  int
dname   string
Time taken: 3.792 seconds
 **-- simple hive table**
hive> ! cat /user/dept.txt;
Command failed with exit code = 1
cat: /user/dept.txt: No such file or directory
hive> ! hadoop fs -cat /user/dept.txt;
1,IT
2,Finance
3,Sales
**--  file is in hdfs**.. 
**loading file to hive table.**
hive> LOAD DATA INPATH '/users/dept.txt' overwrite into table DEPT;
FAILED: Hive Internal Error: java.lang.IllegalArgumentException(java.net.URISyntaxException: Relative path in absolute URI:
hdfs://informatica:8020$%7Bbuild.dir%7D/scratchdir/hive_2014-05-12_12-11-29_340_565872632113593986)
java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute 
URI: hdfs://informatica:8020$%7Bbuild.dir%7D/scratchdir/hive_2014-05-12_12-11-29_340_565872632113593986
        at org.apache.hadoop.fs.Path.initialize(Path.java:148)
        at org.apache.hadoop.fs.Path.<init>(Path.java:132)
        at org.apache.hadoop.hive.ql.Context.getScratchDir(Context.java:142)
        at org.apache.hadoop.hive.ql.Context.getExternalScratchDir(Context.java:202)
        at org.apache.hadoop.hive.ql.Context.getExternalTmpFileURI(Context.java:294)
        at org.apache.hadoop.hive.ql.parse.LoadSemanticAnalyzer.analyzeInternal(LoadSemanticAnalyzer.java:238)
        at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:238)
        at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:340)
        at org.apache.hadoop.hive.ql.Driver.run(Driver.java:736)
        at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:164)

Answer 1

错误日志显示hdfs URI不正确，所以你需要检查你的命令中是否存在非法格式字符或者hdfs URI是否正确。我认为命令应该如下:LOAD DATA INPATH '/user/dept.txt' 覆盖表 DEPT；