个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
25
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章记一次tomcat进程cpu占用过高的问题排查记录由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
本文主要记录一次tomcat进程，因TCP连接过多导致CPU占用过高的问题排查记录.
问题描述 。
linux系统下，一个tomcat web服务的cpu占用率非常高，top显示结果超过200%。请求无法响应。反复重启依然同一个现象.
问题排查 。
1、获取进程信息 。
通过jdk提供的jps命令可以快速查出jvm进程， 。
|
1
|
jps pid
|
2、查看jstack信息 。
|
1
|
jstack pid
|
发现存在大量log4j线程block，处于waiting lock状态 。
org.apache.log4j.Category.callAppenders(org.apache.log4j.spi.LoggingEvent) @bci=12, line=201 (Compiled frame) 。
搜索相关信息，发现log4j 1.x版本存在死锁问题.
发现问题，于是调整log4j配置，仅打开error级别日志，重启tomcat。此时stack中block线程消失，但进程cpu占用率依然高涨.
3、进一步排查 。
分析每个线程的cpu占用量，此处需要引入一个大神贡献的脚本，计算java进程中，每个线程的cpu使用量.
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
#!/bin/bash
typeset
top
=${1:-10}
typeset pid=${2:-$(pgrep -u $USER java)}
typeset tmp_file=
/tmp/java_
${pid}_$$.trace
$JAVA_HOME
/bin/jstack
$pid > $tmp_file
ps
H -eo user,pid,ppid,tid,
time
,%cpu --
sort
=%cpu --no-headers\
|
tail
-$
top
\
|
awk
-
v
"pid=$pid"
'$2==pid{print $4"\t"$6}'
\
|
while
read
line;
do
typeset nid=$(
echo
"$line"
|
awk
'{printf("0x%x",$1)}'
)
typeset cpu=$(
echo
"$line"
|
awk
'{print $2}'
)
awk
-
v
"cpu=$cpu"
'/nid='
"$nid"
'/,/^$/{print $0"\t"(isF++?"":"cpu="cpu"%");}'
$tmp_file
done
rm
-f $tmp_file
|
脚本适用范围 。
因为ps中的%CPU数据统计来自于/proc/stat，这个份数据并非实时的，而是取决于OS对其更新的频率，一般为1S。所以你看到的数据统计会和jstack出来的信息不一致也就是这个原因～但这份信息对持续LOAD由少数几个线程导致的问题排查还是非常给力的，因为这些固定少数几个线程会持续消耗CPU的资源，即使存在时间差，反正也都是这几个线程所导致.
除了这个脚本，简单点儿的方法则是，查出进程id后，通过如下命令查看该进程中每个线程的资源使用情况 。
|
1
|
top
-H -p pid
|
从这里获取pid（线程id），转换为16进制，然后去stack信息中查找对象的线程信息.
通过上述方法，查出tomcat进程对应的线程cpu占用率累积之和约80%，远小于top给出的200%+ 。
说明并不存在长期占用cpu的线程，应该是属于有许多短暂性的cpu密集计算。进而怀疑是不是jvm内存不足，频繁gc导致.
|
1
|
jstat -gc pid
|
发现jvm内存使用并未出现异常，gc次数明显暴涨 。
查完内存，由于本身是一个网络程序，进一步排查网络连接.
4、问题定位 。
查询tomcat对应端口的tcp链接，发现存在大量EASTABLISH的链接，还有部分其它状态的连接，总计400+.
|
1
|
netstat
-anp |
grep
port
|
进一步查看这些连接的来源，发现是该tomcat服务的应用端，存在大量后台线程，在频繁轮询该服务，导致该服务tomcat 连接数被打满，无法继续接收请求.
netstat状态说明:
5、根源分析 。
直接触发原因是客户端轮询，请求异常，继续轮序；客户端不断有新的后台线程加入轮询队伍，最终导致服务端tomcat连接被打满.
到此这篇关于记一次tomcat进程cpu占用过高的问题排查记录的文章就介绍到这了,更多相关tomcat进程cpu占用过高内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。
原文链接：https://blog.csdn.net/yiduyangyi/article/details/77101459 。
最后此篇关于记一次tomcat进程cpu占用过高的问题排查记录的文章就讲到这里了,如果你想了解更多关于记一次tomcat进程cpu占用过高的问题排查记录的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
关闭。这个问题是off-topic .它目前不接受答案。 想要改进这个问题？ Update the question所以它是on-topic用于堆栈溢出。 关闭 12 年前。 Improve thi
我有一个动态网格，其中的数据功能需要正常工作，这样我才能逐步复制网格中的数据。假设在第 5 行中，我输入 10，则从第 6 行开始的后续行应从 11 开始读取，依此类推。 如果我转到空白的第一行并输入
我有一个关于我的按钮消失的问题 我已经把一个图像作为我的按钮 用这个函数动画 function example_animate(px) { $('#cont
我有一个具有 Facebook 连接和经典用户名/密码登录的网站。目前，如果用户单击 facebook_connect 按钮，系统即可运行。但是，我想将现有帐户链接到 facebook，因为用户可以选
我有一个正在为 iOS 开发的应用程序，该应用程序执行以下操作 加载和设置注释并启动核心定位和缩放到位置。 map 上有很多注释，从数据加载不会花很长时间，但将它们实际渲染到 map 上需要一段时间。
我被推荐使用 Heroku for Ruby on Rails 托管，到目前为止，我认为我真的会喜欢它。只是想知道是否有人可以帮助我找出问题所在。 我按照那里的说明在该网站上创建应用程序，创建并提交
我看过很多关于 SSL 错误的帖子和信息，我自己也偶然发现了一个。 我正在尝试使用 GlobalSign CA BE 证书通过 Android WebView 访问网页，但出现了不可信错误。 对于大多
我想开始使用 OpenGL 3+ 和 4，但我在使用 Glew 时遇到了问题。我试图将 glew32.lib 包含在附加依赖项中，并且我已将库和 .dll 移动到主文件夹中，因此不应该有任何路径问题。
我已经盯着这两个下载页面的源代码看了一段时间，但我似乎找不到问题。 我有两个下载页面，一个 javascript 可以工作，一个没有。 工作:http://justupload.it/v/lfd7不是
我一直在使用 jQuery，只是尝试在单击链接时替换文本字段以及隐藏/显示内容项。它似乎在 IE 中工作得很好，但我似乎无法让它在 FF 中工作。 我的 jQuery: $(function() {
我正在尝试为 NDK 编译套接字库，但出现以下两个错误: error: 'close' was not declared in this scope 和 error: 'min' is not a m
我正在使用 Selenium 浏览器自动化框架测试网站。在测试过程中，我切换到特定的框架，我们将其称为“frame_1”。后来，我在 Select 类中使用了 deselectAll() 方法。不久之
我正在尝试通过 Python 创建到 Heroku PostgreSQL 数据库的连接。我将 Windows10 与 Python 3.6.8 和 PostgreSQL 9.6 一起使用。 我从“ht
我有一个包含 2 列的数据框，我想根据两列之间的比较创建第三列。 所以逻辑是:第 1 列 val = 3，第 2 列 val = 4，因此新列值什么都没有 第 1 列 val = 3，第 2 列 va
我想知道如何调试 iphone 5 中的 css 问题。 我尝试使用 firelite 插件。但是从纵向旋转到横向时，火石占据了整个屏幕。 有没有其他方法可以调试 iphone 5 中的 css 问题
所以我有点难以理解为什么这不起作用。我正在尝试替换我正在处理的示例站点上的类别复选框。我试图让它做以下事情:未选中时以一种方式出现，悬停时以另一种方式出现(选中或未选中)选中时以第三种方式出现(而不是
Javascript CSS 问题: 我正在使用一个文本框来写入一个 div。我使用以下 javascript 获取文本框来执行此操作: function process_input(){
你好，我很难理解 P、NP 和多项式时间缩减的主题。我试过在网上搜索它并问过我的一些 friend ，但我没有得到任何好的答案。 我想问一个关于这个话题的一般性问题: 设 A,B 为 P 中的语言(或
你好，我一直在研究 https://leetcode.com/problems/2-keys-keyboard/并想到了这个动态规划问题。 您从空白页上的“A”开始，完成后得到一个数字 n，页面上应该
我正在使用 Cocoapods 和 KIF 在 Xcode 服务器上运行持续集成。我已经成功地为一个项目设置了它来报告每次提交。我现在正在使用第二个项目并收到错误: Bot Issue: warnin
我是一名优秀的程序员,十分优秀！