apache-spark - Spark 使用的 YARN 容器的命名约定是什么？

Question

当在 YARN 上运行 Spark 作业时(yarn-cluster 模式)，YARN 在容器中创建工作线程，其名称如下所示:container_e116_1495951495692_11203_01_000105

容器的命名约定是什么？

这是我有根据的猜测:

• container - 显然只是一个常量字符串
• e116 - 不知道这是什么。可能与 YARN 版本有关。
• 1495951495692_11203 - 应用程序 ID
• 01 - 尝试反击？
• 000105 - 这可能只是一个增量整数。

如果有关于此的任何具体信息(或者甚至是对代码中正确位置的引用)，我很乐意听到。

综上所述，在 YARN 上运行 Spark 作业时，如何知道哪些容器属于哪个执行器？

Answer 1

可以看看https://hadoop.apache.org/docs/current/api/org/apache/hadoop/yarn/api/records/ContainerId.html

containerId 的字符串表示。格式为 container_eepoch_clusterTimestamp_appId_attemptId_containerId 当 epoch大于 0(例如 container_e17_1410901177871_0001_01_000005)。 epoch 在 RM 重启或故障转移时增加。当epoch为0时，epoch被省略(例如container_1410901177871_0001_01_000005)。