hadoop - 运行配置单元查询，并收集作业信息

Question

我想运行生成的 HIVE 查询列表。对于每个，我想检索 MR job_id(或 id，如果是多个阶段)。然后，使用这个 job_id，从 job tracker 收集统计信息(累计 CPU，读取字节......)

我如何从 bash 或 python 脚本发送 HIVE 查询，并检索 job_id(s)？

对于第二部分(收集作业的统计信息)，我们使用的是 MRv1 Hadoop 集群，所以我没有 AppMaster REST API .我即将从 jobtracker 网络用户界面收集数据。有更好的主意吗？

Answer 1

运行这条命令可以得到执行的作业列表，

hadoop 作业 - 列出所有

然后对于每个作业 ID，您可以使用以下命令检索统计信息，hadoop 作业-状态作业-id

为了将作业与查询相关联，您可以获取 job_name 并将其与查询匹配。像这样的东西， How to get names of the currently running hadoop jobs?

希望这对您有所帮助。