java - 启动并提交作业 Spark

Question

我尝试在我的java应用程序中“运行”spark jobs，搜索后，我发现了以下两种方法:ClientsArguments 和 SparkLauncher。

谁能给我解释一下两者之间的区别吗？ Spark 启动和提交作业/应用程序之间的区别？谢谢。

Answer 1

SparkLauncher 只是 spark-submit 的包装库，它将您的 SparkLauncher 代码转换为 spark-submit 脚本 然后触发作业。

机制与spark-submit脚本相同，如果你看SparkLauncher的源代码，它使用ProcessBuilder来构造shell。

如果要使用SparkLauncher，需要指定$JAVA_HOME、$SPRAK_HOME等必要参数。 SparkLauncher 有一些限制，您的 SparkLauncher 运行的机器必须有 $JAVA_HOME 和 $SPARK_HOME(Spark Library)，用于 SparkLauncher 定位脚本和相关依赖项。对于某些云环境(例如 CloudFoundry 等)来说，这是不可能的。

您可以假设 SparkLauncher 等于 spark-submit 脚本，您可以选择客户端或主、本地或 yarn 模式。

ClientsArguments是YARN脚本的类，仅适用于yarn-mode。