apache-spark - 有没有办法设置 Spark 执行器进程的良好设置？

Question

我有一个机器集群，必须与其他进程共享。可以说我不是一个好人，并且希望我的 Spark 执行程序进程比其他人的进程具有更高的优先级。我该如何设置？

我使用的是独立模式 v2.01，在 RHEL7 上运行

Answer 1

Spark 目前 (2.4.0) 不支持 nice 进程优先级。通过 Grep 浏览代码库，没有使用 nice，因此使用开箱即用的 Spark 很难在执行器上设置进程优先级。 Spark 这样做有点奇怪，因为它只假设它可以启动 JVM，而不假设基本操作系统是 UNIX。

有一些我不推荐的古怪方法可以解决这个问题。例如，如果您使用 Mesos 作为资源管理器，则可以将 spark.mesos.executor.docker.image 设置为 java 实际上调用 nice -1 old-java "$ @”。