hadoop - Hive 禁用历史日志和查询日志

Question

我们在生产机器上使用 hive，但它在 /tmp/<user.name>/ 中生成了大量作业日志目录。我们想禁用此日志记录，因为我们不需要它，但找不到任何选项来禁用它。我们检查的一些答案要求我们修改 hive-log4j.properties 文件。但是/usr/lib/hive/conf中唯一可用的文件是 hive-site.xml

启动 hive 时，它​​会提供以下信息:

Logging initialized using configuration in jar:file:/usr/lib/hive/lib/hive-common-0.10.0-cdh4.7.0.jar!/hive-log4j.properties
Hive history file=/tmp/adqops/hive_job_log_79c7f1c2-b4e5-4b7b-b2d3-72b032697bb5_1000036406.txt

看来 hive-log4j.properties文件包含在 jar 中，我们无法修改它。

Hive Version: hive-hwi-0.10.0-cdh4.7.0.jar

非常感谢任何帮助/解决方案。谢谢。

Answer 1

由于 Hive 需要自定义属性文件名，我猜你不能使用在命令行上设置 -Dlog4j.configuration=my_custom_log4j.properties 的常用技巧。

所以我担心您必须使用一些 ZIP 实用程序编辑 hive-common-xxx.jar 以

1. 将默认的 props 文件提取到 /etc/hive/conf/ 或任何其他将位于 CLASSPATH 头部的目录
2. 从 JAR 中删除文件
3. 编辑提取的文件

例如:

$ unzip -l /blah/blah/blah/hive-common-*.jar  | grep 'log4j\.prop'
     3505  12-02-2015 10:31   hive-log4j.properties
$ unzip /blah/blah/blah/hive-common-*.jar hive-log4j.properties -d /etc/hive/conf/
Archive:  /blah/blah/blah/hive-common-1.1.0-cdh5.5.1.jar
  inflating: /etc/hive/conf/hive-log4j.properties
$ zip -d /blah/blah/blah/hive-common-*.jar hive-log4j.properties 
deleting: hive-log4j.properties
$ vi /etc/hive/conf/hive-log4j.properties

注意:风险自负... 0:-)