hadoop - Ambari-将多个文件导入到Hive

Question

我有一个python脚本，可以为要导入到Hive的目录中的文件生成模式，删除表和加载表命令。然后，我可以在Ambari中运行这些文件以导入文件。可以执行多个“创建表”命令，但是当上传文件导入各自的Hive表时，我一次只能上传一个文件。

有没有办法将这些命令放在文件中并立即执行它们，以便创建所有表，然后将相关文件上传到各自的表中？

我还尝试了将文件导入HDFS的目的，然后使用'hdfs dfs -copyFromLocal / home / ixroot / Documents / ImportToHDFS / hadoop / hdfs'命令通过Linux将其发送到Hive，但是出现诸如“无此目录”的错误关于“hadoop / hdfs”。我尝试使用chmod更改权限，但是这些似乎也不有效。

如果有人能告诉我哪种方法更有效地将多个文件导入Hive各自的表，我将不胜感激。

Answer 1

1)是否可以将这些命令放在文件中并立即执行它们，以便创建所有表，然后将相关文件上传到各自的表中？

您可以在.hql文件中提供所有查询，例如test.hql并运行hive -f test.hql以一次执行所有命令

2)错误，例如“没有这样的目录”

输入hadoop fs -mkdir -p /hadoop/hdfs，然后键入hadoop fs -copyFromLocal /home/ixroot/Documents/ImportToHDFS /hadoop/hdfs
编辑:获得许可

hadoop fs -chmod -R 777 /用户/ ixroot