shell - Spark 作业继续运行

Question

我已经在 ambari-server 中提交了我的 Spark 作业
使用以下命令..

  ./spark-submit --class  customer.core.classname --master yarn --numexecutors 2 --driver-memory 2g --executor-memory 2g --executor-cores 1 /home/hdfs/Test/classname-0.0.1-SNAPSHOT-SNAPSHOT.jar newdata host:6667

它工作正常......

但是，如果我们关闭命令提示符或尝试终止作业，它如何继续运行，它必须继续运行。

任何帮助表示赞赏。

Answer 1

您可以通过几种方式实现这一目标

1)您可以使用nohup在后台运行spark提交驱动程序进程
例如:

nohup  ./spark-submit --class  customer.core.classname \
  --master yarn --numexecutors 2 \
  --driver-memory 2g --executor-memory 2g --executor-cores 1 \
  /home/hdfs/Test/classname-0.0.1-SNAPSHOT-SNAPSHOT.jar \
  newdata host:6667 &

2)在部署模式下作为集群运行，以便驱动进程在不同的节点上运行。