Cassandra 死于内存不足 : Kill process or sacrifice child

Question

我们有一个 6 节点集群，运行:

Cassandra 3.11.0.1900

DSE 5.1.5

Ubuntu 16.04.4 LTS

java-1.8.0-openjdk-amd64

其中一个节点死亡，系统日志中显示以下消息:

[1770962.274743] Out of memory: Kill process 49468 (java) score 893 or sacrifice child [1770962.299330] Killed process 49468 (java) total-vm:1156754248kB, anon-rss:46906424kB, file-rss:176871432kB

节点上禁用了交换，并且 /proc/sys/vm/overcommit_memory设置为 0。请注意，当 /proc/sys/vm/overcommit_memory 时会发生这种情况。也设置为 1。

不幸的是，Cassandra 中没有相关的错误信息 system.log (我们在调试级别进行日志记录)。

关于可能导致这种行为的任何想法？

Answer 1

看到这个问题没有得到回答，所以认为它值得回答。这不是 DSE/Cassandra 问题本身，而是可能意味着您根本没有足够的内存来运行主机上的内容。当 OOM 杀手收获一个进程时，它通常会杀死最大的一个。通常在这种情况下使用 DSE 可能意味着您可能已经在 jvm.options 中设置了堆 (Xmx)。文件太高。这只是您可能会想到的众多事情之一。
关于为什么 OOM 杀手会收获一个进程还有其他细微差别，但这可能会非常复杂，并且不知道您的系统设置以及其他哪些进程正在运行，这很难说。
但是，您不会在 DSE/Cassandra 日志中看到任何消息，这是很正常的，因为该进程被 oom 杀手(如 kill -9)强行终止，因此日志将停止。