amazon-web-services - EMR 主节点是否知道其集群 ID？

Question

我希望能够创建 EMR 集群，并让这些集群将消息发送回某个中央队列。为了让它工作，我需要在每个主节点上运行某种代理。这些代理中的每一个都必须在此消息中标识自己，以便收件人知道该消息是关于哪个集群的。

主节点是否知道它的 ID (j-***************)？如果不是，那么是否有其他一些识别信息可以让消息收件人推断出此 ID？

我查看了 /home/hadoop/conf 中的配置文件，但没有发现任何有用的东西。我在 /mnt/var/log/instance-controller/instance-controller.log 中找到了 ID，但看起来很难用 grep 查找。我想知道实例 Controller 最初可能从哪里获得该 ID。

Answer 1

您可以在主节点上查看 /mnt/var/lib/info/ 以找到有关 EMR 集群设置的大量信息。更具体地说，/mnt/var/lib/info/job-flow.json 包含 jobFlowId 或 ClusterID。

您可以使用预装的 json 解析器 (jq) 来获取作业流 ID。

cat /mnt/var/lib/info/job-flow.json | jq -r ".jobFlowId"

(根据@Marboni 更新)