hadoop - 在伪分布式模式下运行配置单元脚本时出错

Question

我正在尝试在伪分布式模式下运行配置单元脚本。当我以交互方式运行脚本时，脚本中的命令绝对运行良好。但是，当我在脚本中添加所有这些命令并运行时，出现错误。

剧本:

  add jar /path/to/jar/file;
  create table flights(year int, month int,code string) row format serde 'com.bizo.hive.serde.csv.CSVSerde';
  load data inpath '/tmp/hive-user/On_Time_On_Time_Performance_2013_1.csv' overwrite into table flights;

HDFS中确实存在“On_Time_On_Time_Performance_2013_1.csv”。我得到的错误是:

   FAILED: SemanticException Line 3:17 Invalid path ''/tmp/hive-user/On_Time_On_Time_Performance_2013_1.csv'': No files matching path hdfs://localhost:54310/tmp/hive-user/On_Time_On_Time_Performance_2013_1.csv

  fs.default.name=hdfs://localhost:54310

我的Hadoop运行良好。

有人可以指点吗？

谢谢。

Answer 1

这并不是真正的答案，而是对问题的更详细，可重复的表述。

a)需要从此处下载csv-serde:git clone https://github.com/ogrodnek/csv-serde

b)使用mvn软件包进行构建
c)创建一个文本文件，其中包含与给定表的三个字段相对应的三个逗号分隔的字段。
c)如果路径是“/ shared”，则以下是正确的加载顺序:

add jar /shared/csv-serde/target/csv-serde-1.1.2-0.11.0-all.jar;
drop table if exists flights;
create table flights(year int, month int,code string) row format serde 'com.bizo.hive.serde.csv.CSVSerde' stored as textfile;
load data inpath '/tmp/hive-user/On_Time_On_Time_Performance_2013_1.csv' overwrite into table flights;

我确实看到了与OP中相同的错误:失败:SemanticException行2:17无效的路径''/tmp/hive-user/On_Time_On_Time_Performance_2013_1.csv'':没有与路径hdfs:// localhost:9000 / tmp / hive匹配的文件-user / On_Time_On_Time_Performance_2013_1.csv