gpt4 book ai didi

java - 使用 Marathon 运行 Spark 作业

转载 作者:行者123 更新时间:2023-12-02 08:21:03 25 4
gpt4 key购买 nike

我正在为以下任务运行马拉松作业:

./bin/spark-class org.apache.spark.deploy.mesos.MesosClusterDispatcher

但是,接下来我希望现在能够使用以下命令将单个 Spark 作业作为单独的 Marathon 作业运行:

./bin/spark-submit ....

我的问题是:如何从未安装二进制文件的 Mesos 执行程序中调用 Spark-Submit?(注意:我知道 http://spark.apache.org/docs/latest/running-on-mesos.html#connecting-spark-to-mesos 还建议在所有 Mesos 从属设备上安装 Spark,但这是唯一的选择吗?)

非常感谢任何指导。

最佳答案

只需运行以下命令:

/opt/spark/spark-2.1.0-bin-hadoop2.7/bin/spark-submit --class org.apache.spark.examples.SparkPi --master mesos://127.0.0.1:31258 --deploy-mode cluster --supervise --executor-memory 2G --total-executor-cores 1 /opt/spark/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 1000

关于java - 使用 Marathon 运行 Spark 作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39075408/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com