hadoop - 如何从容器内部获取 YARN ContainerId？

Question

我正在 YARN 上运行 Spark 作业，并希望获取 YARN 容器 ID(作为跨一组 Spark 作业生成唯一 ID 的要求的一部分)。我可以看到 Container.getId()方法获取 ContainerId 但不知道如何从 YARN 获取对当前运行容器的引用。这可能吗？ YARN 容器如何获取自己的信息？

Answer 1

我能得到一些东西的唯一方法是使用日志目录。以下在 spark shell 中工作。

import org.apache.hadoop.yarn.api.records.ContainerId

def f(): String = {
  val localLogDir: String = System.getProperty("spark.yarn.app.container.log.dir")
  val containerIdString: String = localLogDir.split("/").last
  val containerIdLong: Long = ContainerId.fromString(containerIdString).getContainerId
  containerIdLong.toHexString
}

val rdd1 = sc.parallelize((1 to 10)).map{ _ => f() }
rdd1.distinct.collect().foreach(println)