hadoop - 在 Hive 中发布加载数据(组相关)

Question

我有一个 sample_data 文件(之前在配置单元表 people 中创建的模式在运行以下命令以在表 people 中加载数据时:

LOAD DATA LOCAL INPATH 'sample_data.csv' OVERWRITE INTO TABLE people;

我得到以下跟踪:

Loading data to table default.people Failed with exception Unable to move source file:/home/hduser1/sample_data.csv to destination hdfs://hive-master:54310/user/hive/warehouse/people/sample_data.csv FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

尝试跟随但徒劳无功:

hadoop fs -chmod g+w /user/hive/warehouse 
sudo chmod -R 777 /home/hduser1/sample_data.csv 

进一步，分析显示了一些有趣的东西

-rwxrwxrwx 1 hduser1 hadoop_group      2874 Feb 21 09:50 sample_data.csv

注意:文件 sample_data.csv 对 hadoop_group 中的 hduser1 具有访问权限，而以下行显示 /user/hive/warehouse 对 supergroup 中的 hduser1 具有访问权限。

drwxrwxrwx   - hduser1 supergroup          0 2018-02-21 10:35 /user/hive/warehouse/people

我该如何克服这个问题？我是否缺少任何配置？

Answer 1

当您将 LOCAL 选项与 LOAD DATA INPATH... 一起使用时，文件应该位于运行 Hive 的服务器上。如果您无权访问它，最好的方法是手动将数据移动到 HDFS 并使用 LOAD DATA INPATH...,