hadoop - 在本地模式下限制Spark作业

Question

有什么方法可以限制以spark部署模式作为本地模式执行spark-submit的访问。如果我允许用​​户以本地模式执行作业，我的 yarn 簇将被利用不足。

我已配置为使用yarn作为群集管理器来计划 Spark 作业。
我检查了spark配置，在其中找不到任何参数仅允许特定的部署模式。在将Spark作业提交到集群时，用户可以覆盖默认的部署模式。

Answer 1

您可以通过在spark.master文件中将yarn键设置为conf/spark-defaults.conf来激发并促进使用YARN。如果您的配置已准备好指向正确的主服务器，则默认情况下，用户将在YARN上部署其作业。

我不知道有什么方法可以完全禁止您的用户使用母版，特别是如果它在他们的控制下(对于local就是这种情况)。如果您控制Spark的安装，您可以做的是修改现有的spark-shell / spark-submit启动脚本，以检测用户是否试图显式使用local作为母版并防止这种情况发生。另外，您也可以使用自己的脚本来检查并阻止打开任何local session ，然后正常运行spark-shell / spark-submit。