apache-spark - Google data proc 记录有关资源不足但未失败的错误

Question

我在 google dataproc 上运行 apache spark java 作业。该作业创建 spark 上下文、分析日志并最终关闭 spark 上下文。然后为另一组分析创建另一个 Spark 上下文。这持续50-60次。有时我会收到错误 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources反复。
根据对 SO 的回答，当开始作业时没有足够的可用资源时会发生这种情况。但这通常发生在工作中。
我希望 dataproc 作业出错并退出。但相反，该作业仅记录此错误。我怎样才能使工作失败。另外我怎样才能防止这个错误。

Answer 1

这可能发生在作业执行期间，因为 Dataproc 上的 Spark 在客户端模式下(在 Yarn 之外)运行驱动程序，只有当它需要启动执行程序时，Spark 才会从 YARN 为其 AppMaster 和执行程序请求容器。
该错误只是表明资源不足，通常您可以在集群的监控选项卡中找到 YARN Pending Memory > 0。您可以手动向上扩展集群 1 ，或启用自动缩放 2 .