hadoop - Spark - java IOException :Failed to create local dir in/tmp/blockmgr*

Question

我试图运行一个长时间运行的 Spark 作业。执行几个小时后，出现以下异常:

Caused by: java.io.IOException: Failed to create local dir in /tmp/blockmgr-bb765fd4-361f-4ee4-a6ef-adc547d8d838/28 

试图通过检查来绕过它:

1. /tmp 目录中的权限问题。 spark 服务器未以 root 身份运行。但是/tmp 目录应该对所有用户都是可写的。

2. /tmp目录有足够的空间。

Answer 1

假设您正在使用多个节点，您需要检查参与 spark 操作的每个节点(master/driver + slaves/nodes/workers)。

请确认每个 worker/node 有足够的磁盘空间(特别是检查/tmp 文件夹)和正确的权限。