apache-spark - 如何保持 Dataproc Yarn nm-local-dir 大小可管理

Question

我正在 GCP Dataproc 集群上运行一个 spark 作业，该集群配置有 1 个主节点、2 个主要工作节点(4 个本地 SSD，每个用于 shuffling )和 N 个辅助工作节点(没有任何 SSD)。

我的工作按每日分批处理数据，因此我希望临时数据(洗牌、检查点等)在一天的过程中增长，并在第二天开始前清理干净。

但是，当我运行该作业几天(例如 15-20 天)时，它最终失败并出现关于 yarn 的磁盘空间不足的错误(我不记得确切的错误消息)。

Dataproc GCP 控制台显示此图，您可以在其中看到 HDFS 容量单调减少，而其他指标显示与批处理启动/停止相关的循环上下。

我登录了一名主要工作人员以调查 SSD 的使用情况，因为我记得错误消息提到了 /mnt/{1,2,3,4}，这是固态硬盘。

$ df -h
[...]
/dev/sdb        369G  178G  172G  51% /mnt/1
/dev/sdc        369G  178G  173G  51% /mnt/2
/dev/sdd        369G  179G  171G  52% /mnt/3
/dev/sde        369G  174G  176G  50% /mnt/4
[...]

而且磁盘使用率不断增加(在我写这篇文章之前是 43%)。进一步挖掘将我带到以下目录:

$ pwd
/mnt/1/hadoop/yarn/nm-local-dir/application_1622441105718_0001

$ du -sh .
178G    .

$ ls
00  03  06  09  0c  0f  12  15  18  1b  1e  21  24  27  2a  2d  30  33  36  39  3c  3f
01  04  07  0a  0d  10  13  16  19  1c  1f  22  25  28  2b  2e  31  34  37  3a  3d
02  05  08  0b  0e  11  14  17  1a  1d  20  23  26  29  2c  2f  32  35  38  3b  3e

所有这些文件夹都包含名为 shuffle_NN_NNNN_0.{index,data} 的文件。论文文件很多:目前有38577个。

我想这些文件是临时数据，但为什么每次批处理后都没有删除它们？我可以在不中断工作的情况下手动删除它们吗(find . -type f -mmin -120 -delete 删除所有超过 120 分钟的文件(我的批处理大约 60 分钟))？有没有好的方法来管理这些文件？

---

编辑

实际上，我测试过删除旧文件，比如:

for I in $(seq 1 4); do
( cd /mnt/${I}/hadoop/yarn/nm-local-dir/application_* && sudo find . -type f ! -newerat 2021-05-31T12:00:00 -delete )
done

我的工作仍在运行，似乎没有注意到任何事情，但我将磁盘使用率降低到 16%(而不是 54%)。这是一个手动解决方案，我仍在寻找更好的解决方案。

---

编辑2

在 answer 之后更精确一些来自@Ben Sidhom。

我以批处理模式使用 Spark。 “标称”用例是每天早上处理最后一天的数据。因此，每天 D，我都会启动一个 Spark 作业来读取 D-1 天的数据，对其进行转换并保存生成的数据集。这个过程大约花费 1 小时，在这种情况下，我没有注意到任何数据泄漏。

然而，有时候，我们需要做一些追赶。例如，我实现了一项新的转换工作，需要在前一年的每一天应用它(以填充一些历史数据)。在这种情况下，我没有启动 365 个单独的 spark 作业，而是启动了 1 个，它将每天按顺序处理。现在，工作时间更长了，而且数据泄露时有发生。大约 15 小时后(即处理 15 天的数据后)作业失败，因为设备上没有剩余空间。

禁用EFM似乎不是一个好的解决方案，因为实际上它在这种长时间运行的作业上带来了最大的值(value)，避免了因为抢占节点丢失而导致作业失败。

所以目前，我会坚持使用手动解决方案。请注意，删除命令应在所有主节点上完成。

---

编辑3

再进行一次编辑以展示我的“生产级”解决方案。

创建集群后。通过 ssh 连接到您的每个主要工作人员，然后启动一个屏幕并运行一个无限循环，每 600 秒删除一次旧文件(在下面的示例中超过 120 分钟):

$ screen -RD
<new screen created>

$ while true; do
date --iso-8601=seconds
for I in $(seq 1 4); do
( cd /mnt/${I}/hadoop/yarn/nm-local-dir/application_* && sudo find . -type f -amin +120 -delete )
done
df -h | grep /mnt/
sleep 600
done

当此命令正在运行时，将您自己从屏幕上移开 (Ctrl+A D)。您可以使用 htop 检查您的命令是否仍在运行。

就是这样。

Answer 1

存在一个已知问题，即此中间洗牌数据可能会泄露。在此期间可能的解决方法是:

• 您手动删除这些暂存文件的解决方案。
• 暂时禁用 EFM。在这种情况下，暂存文件由 YARN 直接管理，不依赖 Spark 进行清理。

您能否说明您使用的是哪种 Spark 模式？这是一个重复运行的批处理作业，还是一个长时间运行的小批量流作业？如果是后者，Spark cleanup hook 可能只在作业结束时发出，这可以解释泄漏。

更新:随机播放数据泄漏问题自 July 20, 2021 release 以来已得到修复.