apache-spark - Spark Executors - 它们是 Java 进程吗？

Question

我是 spark 的新手。当我尝试在具有 3 个执行程序的客户端模式下运行 spark-submit 时，我希望在执行 ps -ef

时显示 3 个 java 进程(因为有 3 个执行程序)

$SPARK_HOME/bin/spark-submit --num-executors 3 --class AverageCalculation --master local[1] /home/customer/SimpleETL/target/SimpleETL-0.1.jar hdfs://node1:9000/home/customer/SimpleETL/standard_input.csv

但是，我没有看到 3 个 java 进程。我的理解是每个执行程序进程都是一个java进程。请指教。谢谢。

Answer 1

因为您使用local 模式(--master local[1]) 执行器设置不适用。在这种情况下，spark 仅启动一个 JVM 来模拟所有组件，并分配 local 定义 (1) 中指定的线程数作为执行线程。

在其他模式下，执行器是独立的 JVM 实例。