java - 为每个 Spark 执行器设置自定义 java.rmi.server.hostname

Question

我有一个在 YARN 上运行的 Spark 进程(大约有 10 个工作进程和 10 个主机)，并且我希望能够在执行程序上使用 JMX。为了简化起见，我确信每台主机上最多有一个执行程序(以避免端口冲突)。

在 Spark Conf 上使用 spark.executor.extraJavaOptions 是不可能的，因为每个主机都需要有不同的 java.rmi.server.hostname。

我找不到为每个 YARN 容器/Spark 执行器设置自定义 java 选项的方法，您将如何继续？

我认为它应该使用 System.setProperty("java.rmi.server.hostname", ...) 动态设置，但我没有任何“当执行程序启动时”的钩子(Hook)。我是吗？

Answer 1

您可以在spark.executor.extraJavaOptions中使用类似的内容:

-Dcom.sun.management.jmxremote.port=9999 
-Dcom.sun.management.jmxremote.rmi.port=9999 
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false 
-Dcom.sun.management.jmxremote.local.only=false