java - 如何在java代码中运行bin/spark-submit？

Question

最近在学习Spark。我通常通过命令行提交Spark Job。例如:

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  /path/to/examples.jar \
  100

但是，我想在Java代码中运行spark-submit，例如SparkResult 结果 = sc.submit()。

Answer 1

尝试使用 java.lang.Runtime.exec() 调用可执行文件.

或者来自spark docs ，这似乎是你的例子:

int count = spark.parallelize(makeRange(1, NUM_SAMPLES)).filter(new Function<Integer, Boolean>() {
  public Integer call(Integer i) {
    double x = Math.random();
    double y = Math.random();
    return x*x + y*y < 1;
  }
}).count();
System.out.println("Pi is roughly " + 4 * count / NUM_SAMPLES);