hadoop - 在脚本中运行脚本？ - Hive(和其他 QL)

Question

是否可以在运行脚本的其余部分之前调用脚本并运行它？

我的目标是执行一个设置脚本，该脚本将下载和组织执行我的主要查询所需的数据。

我正在寻找类似的东西:

create table logcontent (content string) row format delimited fields terminated by '\n';

**call secondary hive script with date-range arguments and download necessary logs into <logcontent>**

**perform the rest of the query**

我想这样做是为了为表格设置创建一个很好的抽象，以便最终用户不必担心表格设置，这将为他们完成。

我知道 AWS 可以选择将 Hive 脚本添加为作业中的一个步骤，但我如何在本地执行相同的操作？这可能吗？如果是这样，语法是什么？如果不是，有哪些解决方法？

Answer 1

答案是在类似于下面的模板中组织您的主要 shell 脚本。

## Content of main.sh

## Code block to setup Hadoop Environment and config in Path, if not already exist.

## Step 1> Create the hive table in non-interactive mode.
hive -e "create table test(id int, name string) row format delimited fields terminated by '\n'"
# Check if the command is successful. IF else logic can be added.
echo $? 

## Step 2> Call the secondary script executable to download logs
ksh downloadlogs.sh # Assuming the download script could be invoked this way.

## Step 3> Execute rest of the hive queries to organize data
hive -e "select * from test"