apache-spark - spark-yarn集群环境下只允许运行一次spark-submit

Question

我搭建了一个spark-yarn集群环境，Spark(2.2.0)在Windows 7下； yarn 集群是 hadoop 2.7.3。

我运行“spark-shell”来使用 SparkSQL:

spark-shell --master yarn --deploy-mode client --conf spark.yarn.archive=hdfs://hadoop_273_namenode_ip:namenode_port/spark-archive.zip

现在一切正常，但是当我启动另一个“spark-shell”时，下面的消息似乎永远不会结束输出到控制台:

17/10/17 17:33:53 INFO Client: Application report for application_1508232101640_0003 (state: ACCEPTED) 

ResourceManager web UI 中的应用状态显示

[application status] ACCEPTED: waiting for AM container to be allocated, launched and register with RM

如果我关闭第一个“spark-shell”，第二个就会正常工作。

似乎不允许同时使用多个spark-shell(spark-submit)(在我的环境中)。

如何突破限制？

Answer 1

waiting for AM container to be allocated

这是一个资源限制，所以你可以让你的第一个 jb 消耗更少的资源。

发生的情况是第一个作业消耗了所有可用资源，而当第二个作业到来时，没有任何东西被释放，因此第二个作业必须等待资源可用。

这就是为什么当您关闭第一个 shell 时，另一个 shell 将启动。