hadoop - 在 Crontab 上安排 Hive 查询

Question

任何人都可以帮助我在 Crontab 中安排一项工作，该工作将在特定时间执行一个简单的 Hive 查询并以文本/日志文件的形式提供给我输出。

我创建了一个批处理脚本来执行选择查询，但在 Crontab 中执行时出现错误(“未找到 Hive 命令”)。但是，相同的脚本通过 shell 运行良好。下面是我的脚本:

ip.sh
#!/bin/bash
echo "Starting of Job"
cd /home/hadoop/work/hive/bin
hive -e 'select * from mytest.empl'
echo "Script ends here"

定时任务表:10 * * * */home/hadoop/work/ip.sh >>/home/hadoop/work/quryout.log 2>&1

执行 Crontab 后，我在日志中收到以下消息:

输出(查询输出.log):工作开始在第 4 行的 ip.sh 中找不到配置单元命令脚本到此结束

Answer 1

在您的 /home/hadoop/.bashrc 中添加这些行:

export HIVE_HOME=/home/hadoop/work/hive
export PATH=$PATH:$HIVE_HOME/bin

现在，像这样更改您的脚本:

#!/bin/bash
echo "Starting of Job"
hive -e 'select * from mytest.empl'
echo "Script ends here"