hadoop - 如何运行查询配置单元并通过日志获取 applicationID

Question

我正在编写一个执行 hive 命令的 shell 脚本，将日志和输出信息写入两个单独的文件:

hive -S -f pdr_extrator.sql 2> pdr_extrator_log.txt | sed 's / [\ t] / | / g' 1> pdr_extrator_out.txt

执行结束时的日志文件如下:

log4j: WARN No such property [maxBackupIndex] in org.apache.log4j.DailyRollingFileAppender. log4j: WARN No such property [maxFileSize] in org.apache.log4j.DailyRollingFileAppender. SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar: file: /usr/hdp/2.2.6.0-2800/hadoop/lib/slf4j-log4j12-1.7.5.jar! /Org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar: file: /usr/hdp/2.2.6.0-2800/hive/lib/hive-jdbc-0.14.0.2.2.6.0-2800-standalone.jar! / Org / slf4j / impl / StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

当我通过命令行运行时，可以获取我的具体查询的applicationID，如下图:

ApplicationID - Hive command line

我想知道是否有任何方法可以通过日志获取 applicationID。

今天我使用命令 yarn application -list -appTypes TEZ并监视在我的查询开始附近出现的进程，以便稍后使用命令 yarn application -status application_XXXXX只监视我的执行。

问题是这种方法是有缺陷的，例如，另一个进程可能会在类似的时间进入队列。

感谢您的帮助。

Answer 1

您正在使用 -S 运行配置单元查询文件抑制与 yarn application id 相关的日志记录的选项.

尝试运行

hive -f pdr_extrator.sql

如果重定向，您必须能够在控制台或文件上看到如下日志。

Status: Running (Executing on YARN cluster with App id application_1579987899994_341626)