hadoop - 构造函数 ClientArguments(String[], SparkConf) 未定义

Question

我正在尝试通过 Java 代码进行 spark-submit。我指的是以下示例。

https://github.com/mahmoudparsian/data-algorithms-book/blob/master/misc/how-to-submit-spark-job-to-yarn-from-java-code.md

但是我得到了

The constructor ClientArguments(String[], SparkConf) is undefined

我的 spark-yarn 版本是 spark-yarn_2.11-2.0.0。

我看到了题目:
spark-submit through java code

但这对我不起作用。有什么帮助吗？

Answer 1

构造函数参数在 1.x 和 2.0 之间发生了变化。在 1.x 中它看起来像:

ClientArguments(args: Array[String], sparkConf: SparkConf)

在 2.0 中:

ClientArguments(args: Array[String])

参见:https://github.com/apache/spark/blob/branch-2.0/yarn/src/main/scala/org/apache/spark/deploy/yarn/ClientArguments.scala