java - 高负载项目中的Java OOM

Question

我在高负载多线程Java项目中遇到OOM异常问题。
我很感激你能给我任何帮助。
德莱尔斯：
项目是建立在Java+Mysql作为存储。
没有证据表明在应用程序崩溃时会使用额外的RAM（任何监控工具都不会跳转）
CPU和I/O也可以。
Jstack工具未找到任何线程死锁。
Mysql中没有慢速或错误日志。
在hs_err中，您可以看到thread_blocked状态，但我没有找到任何原因。
Java运行参数、系统限制、可用内存，如下所示。
以下是hs_err_filepart中的错误（完整文件attached）：
内存不足，Java运行时环境无法继续。
本机内存分配（mmap）无法映射1633681408字节以提交保留内存。
可能的原因：
系统的物理RAM或交换空间不足
在32位模式下，已达到进程大小限制
可能的解决方案：
减少系统内存负载
增加物理内存或交换空间
检查交换备份存储是否已满
在64位操作系统上使用64位Java
减小Java堆大小（-Xmx/-Xms）
减少Java线程数
减少Java线程堆栈大小（-Xss）
使用-XX:ReservedCodeCacheSize设置更大的代码缓存=
此输出文件可能被截断或不完整。
内存不足错误（os_linux.cpp:2627），pid=11980，tid=0x00007f27148c8700
JRE版本：Java（TM）SE运行时环境（8.0_92-b14）（内部版本1.8.0_92-b14）
Java虚拟机：Java HotSpot（TM）64位服务器虚拟机（25.92-b14混合模式linux-amd64压缩oops）
无法写入核心转储。已禁用核心转储。要启用核心转储，请在再次启动Java之前尝试“ulimit-c unlimited”
---------------今天---------------
当前线程（0x00007f27883c5800）：VMThread[堆栈：0x00007f27147c8000，0x00007f27148c9000][id=12005]
堆栈：[0x00007f27147c8000,0x00007f27148c9000]，sp=0x00007f27148c7160，可用空间=1020k
本机帧：（J=编译的Java代码，J=解释的，Vv=虚拟机代码，C=本机代码）
V[libjvm.so+0xabd65a]VMError：：report_and_die（）+0x2ba
V[libjvm.so+0x4fb4db]报告内存不足（char const*，int，unsigned long，VMErrorType，char const*）+0x8b
V[libjvm.so+0x91d713]os：：Linux：：commit_memory_impl（char*，unsigned long，bool）+0x103
V[libjvm.so+0x91dc69]os：：pd_commit_内存（char*，unsigned long，unsigned long，bool）+0x29
V[libjvm.so+0x917f6a]os：：提交内存（char*，unsigned long，unsigned long，bool）+0x2a
V[libjvm.so+0x98c343]PSVirtualSpace：：expand_by（unsigned long）+0x53
V[libjvm.so+0x98d748]PSYoungGen：：调整生成大小（无符号长，无符号长）+0xf8
V[libjvm.so+0x98c8a2]PSYoungGen：：resize（无符号长，无符号长）+0x22
V[libjvm.so+0x989b7b]PSScavenge：：invoke_no_policy（）+0xf3b
V[libjvm.so+0x98a301]PSScavenge：：invoke（）+0x41
V[libjvm.so+0x941410]并行清除heap：：分配内存失败（无符号长）+0x70
V[libjvm.so+0xabf077]虚拟机并行失败分配：：doit（）+0x97
V[libjvm.so+0xac6aa5]虚拟机操作：：evaluate（）+0x55
V[libjvm.so+0xac4e7a]VMThread：：evaluate_操作（VM_操作*）+0xba
V[libjvm.so+0xac51fe]VMThread：：loop（）+0x1ce
V[libjvm.so+0xac5670]VMThread：：run（）+0x70
V[libjvm.so+0x91fad8]java启动（线程*）+0x108
VM_操作（0x00007f22963f34e0）：并行gcfailedallocation，模式：safepoint，由线程0x00007f25e8105000请求
---------------P R O C E S公司---------------
Java线程：（=>当前线程）
0x00007f25a8052800 JavaThread“pool-27-thread-32”[_thread_blocked，id=26278，stack（0x00007f2147523000，0x00007f214762400）]
0x00007f24dc07f000 JavaThread“pool-33-thread-55”[线程被阻塞，id=26277，堆栈（0x00007f214762400，0x00007f2147725000）]
0x00007f25bc06b800 JavaThread“pool-28-thread-48”[线程被阻塞，id=26272，堆栈（0x00007f2147725000，0x00007f214782600）]
0x00007f256806000 JavaThread“pool-24-thread-39”[_thread_blocked，id=26267，stack（0x00007f2147826000，0x00007f2147927000）]
0x00007f25bc06a000 JavaThread“pool-28-thread-47”[线程被阻塞，id=26262，堆栈（0x00007f2147927000，0x00007f2147a28000）]
jvm_args:-Xmx16G-XX:ReservedCodeCacheSize=256M-XX:+HeapDumpOnOutOfMemoryError-XX:HeapDumpPath=/opt/DDT/CPA-XX:-omitstacktraceinfasttrow
内存：
自由-m
缓存的可用共享缓冲区总数
内存：64298 37022 27275 5 593 9466
-/+缓冲区/缓存：269623736
交换：15847 957 14889
系统限制：
乌利米特-a
核心文件大小（块，-c）0
数据段大小（kbytes，-d）不受限制
调度优先级（-e）0
文件大小（块，-f）不受限制
挂起信号（-i）256455
最大锁定内存（KB，-l）64
最大内存大小（kbytes，-m）不受限制
打开文件（-n）64000
管道大小（512字节，-p）8
POSIX消息队列（字节，-q）819200
实时优先级（-r）0
堆栈大小（kbytes，-s）8192
cpu时间（秒，-t）无限制
最大用户进程（-u）256455
虚拟内存（KB，-v）不受限制
文件锁定（-x）不受限制

Answer 1

我认为64位虚拟机和压缩OOPS可能会面临以下问题：
https://bugs.openjdk.java.net/browse/JDK-8187709
https://blogs.oracle.com/poonam/running-on-a-64bit-platform-and-still-running-out-of-memory