apache-spark - 无法在 Spark 应用程序中创建新的 native 线程

Question

我正在运行一个 Spark 应用程序，但我总是遇到内存不足异常。

Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread

我在 Linux 上的节点集群中在 local[5] 下运行我的程序，但它仍然给我这个错误..有人能告诉我如何在我的 Spark 应用程序中纠正它吗..

Answer 1

您的机器上配置的 ulimit 似乎有问题。运行 ulimit -a 命令，您将看到以下结果。

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 63604
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 10240
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 63604
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

检查 open files 和 max user processes 配置值。应该很高。

您可以使用以下命令配置它们:

ulimit -n 10240
ulimit -u 63604

完成 ulimits 的配置后。您可以启动您的应用程序以查看效果。