Hive - 查找用户完成的更新

Question

我正在寻找一种方法来找出谁在 Hive 外部表上运行了 update/drop/alter 命令。我对选择、显示命令不感兴趣。

我找不到任何方法来弄清楚。有什么办法可以查到吗？

如果我们需要做任何先前的工作，也可以。

有什么建议？

Answer 1

我在 python 中找到了一个脚本，可以提取用户的所有 SQL 命令，您可以扩展该脚本。

./hqe.py --help 
usage: hqe.py [-h] [--since SINCE] [--to TO] [--logdir LOGDIR]
          [--glob LOGFILE_GLOB]
          [--loglevel {DEBUG,INFO,WARNING,ERROR,CRITICAL}]

Displays queries ran on Hive.

optional arguments:
 -h, --help show this help message and exit
 --since SINCE how far to look back. (default: 15m)
 --to TO How far to look forward. (default: now)
 --logdir LOGDIR Directory of hive log files. (default: /var/log/hive)
 --glob LOGFILE_GLOB Shell pattern of hive logfiles inside their logdir.
 (default: hiveserver2.log*)
 --loglevel {DEBUG,INFO,WARNING,ERROR,CRITICAL}, -l {DEBUG,INFO,WARNING,ERROR,CRITICAL}
 Log level. (default: warn)

如果用户、主机名和持续时间知道它们被显示，
查询以与发送时相同的格式显示，包括注释，

博文: https://thisdataguy.com/2017/06/23/extracting-queries-from-hive-logs/

Github Project