java - 在 java 中没有 spark-submit 可以吗？

Question

有人告诉我有一个 spark 集群在“remote-host-num1:7077”上运行，在“remote-host-num2:7077”“remote-host-num3:7077”上有多个节点。

如果我编写了一个执行以下操作的程序:

    SparkConf conf = new SparkConf().setAppName("org.sparkexample.TestCount").setMaster("spark://remote-host-num1:7077");
    JavaSparkContext sc = new JavaSparkContext(conf);

并从 sc.textFile 创建 JavaRDD“myrdd”，并执行类似使用“myrdd.count()”获取其计数的操作。此操作是否利用了远程集群中的所有机器？

我想确定一下，因为如果可以避免的话，我不想使用 spark-submit "myjarfile"。如果必须，我应该做什么？如果我必须使用 spark-submit 来利用 spark 在多台机器上的分布式特性，有没有办法在 Java 中以编程方式执行此操作？

Answer 1

是的，在 spark-1.4.x 中添加了对将 scala/java spark 应用程序作为子进程提交的支持。您可以在 org.apache.spark.launcher 类的 javaDocs 中查看更多详细信息。下面的链接是在 spark 文档中引用它的地方。

https://spark.apache.org/docs/latest/programming-guide.html#launching-spark-jobs-from-java--scala