pyspark - Spark 应用程序在 1 小时后在 EMR 中突然被 KILLED 并且 livy session 过期。原因和解决方案是什么？

Question

我在 AWS EMR 集群上使用 JupyterHub。我正在使用 EMR 版本 5.16

我使用 pyspark3 notebook 提交了一个 spark 应用程序。我的应用程序正在尝试将 1TB 数据写入 s3。我正在使用 EMR 的自动缩放功能来缩放我们的任务节点。

硬件配置:1.主节点:32GB内存，16核2.核心节点:32GB内存，16核3.任务节点:16GB，每个8核。 (任务节点扩容15个)

我观察到 Spark 应用程序在运行 50 到 60 分钟后被终止。我试过调试:1. 我的集群仍有扩展空间。所以这不是资源短缺的问题。2. Livy session 也被杀死。3. 在作业日志中，我看到错误消息 RECVD TERM SIGNAL "Shutdown hook收到了”

请注意:1. 我一直保持:spark.dynamicAllocation.enabled=true"2. 我在 Jupiter hub 中使用 yarn fair scheduler 和用户模拟

你能帮我理解问题和解决方案吗？

Answer 1

我认为我遇到了同样的问题，并且由于这个 answer 找到了解决方案.

问题来自 Livy 配置参数 livy.server.session.timeout，该参数默认将 session 超时设置为 1 小时。

您应该通过将以下行添加到 EMR 集群的配置中来进行设置。

[{'classification': 'livy-conf','Properties': {'livy.server.session.timeout':'5h'}}]

这为我解决了这个问题。