java - 使用 YourKit 分析应用程序，仍然无法识别 CPU 占用

Question

我有一个 Java 应用程序大部分时间都在使用 100% 的 CPU(如 cacti 和 top 监控所示)。我们启动了 YourKit(它确认了 CPU 资源问题)，它在 15% 的时间内将 java.net.SocketInputStream.read(byte[], int, int) 识别为最大热点。我相信他们没有像 SocketInputStream.read 那样准确地测量执行阻塞 IO 的方法的 CPU 时间。

还有 6 个其他已识别的热点，但它们所占的 CPU 时间加起来不到 20%。都在 5%-1% 范围内。

所以我知道我有问题，我能看到问题，YourKit 也是，但我离确定实际问题还差得很远。

我对使用分析器还很陌生，很可能遗漏了一些东西。有什么想法吗？

编辑:Sean 就使用系统内置的工具提出了一个很好的观点。如果我使用 top 和 shift+h 查看线程，它会显示 7-15 个线程，并且 CPU 利用率会跳来跳去。我不认为是任何一个线程导致了问题，而是每个线程在某个时间执行的一段代码。

Answer 1

如果可以的话，我建议您在 Solaris 机器上运行它。如果您没有 Solaris 盒子，请考虑设置一个运行 Open Solaris 的虚拟机。

Solaris 提供了一个名为 prstat 的工具

Prstat 的工作原理与大多数人熟悉的 top 非常相似。重要的区别是 prstat 可以为您分解进程并显示进程中的每个线程。

对于您的情况，用法是prstat -L 0 1

与线程转储配对(最好在脚本中执行此操作)，您可以将 LWPID 匹配在一起以准确找到哪个线程是 CPU 大 pig 。

这是一个功能示例(我为 poc 创建了一个大循环中的小应用程序)

Standard Top 会显示类似下面的内容

 PID USERNAME NLWP PRI NICE  SIZE   RES STATE    TIME    CPU COMMAND
  924 username   10  59    0   31M   11M run      0:53 36.02% java

然后在使用prstat时使用了如下命令

 prstat -L 0 1 | grep java > /export/home/username/Desktop/output.txt

以及 prstat 的输出

PID USERNAME  SIZE   RSS STATE  PRI NICE      TIME  CPU PROCESS/LWPID    
924 username   31M   10M run     30    0   0:00:09  35% java/10
924 username   31M   10M sleep   59    0   0:00:00 0.8% java/3
924 username   31M   10M sleep   59    0   0:00:00 0.6% java/2
924 username   31M   10M sleep   59    0   0:00:00 0.3% java/1

这可能看起来与顶部没有太大区别，但如果您注意到数据的右侧，PROCESS/LWPID 会告诉您 java 进程中消耗 CPU 的确切线程。使用轻量级进程 ID (lwpid) 10 运行的线程占用了 35% 的 CPU。正如我之前提到的，如果将它与线程转储配对，就可以找到确切的线程。就我而言，这是线程转储的相关部分

"Thread-0" prio=3 tid=0x08173800 nid=0xa runnable [0xc60fc000..0xc60fcae0]
   java.lang.Thread.State: RUNNABLE
    at java.util.Random.next(Random.java:139)
    at java.util.Random.nextInt(Random.java:189)
    at ConsumerThread.run(ConsumerThread.java:13)

在线程的顶行，nid 可以与 LWPID 匹配。 nid=0xa(16进制转换为10进制)

如果您可以将 prstat 和线程转储命令放在脚本中，并在 CPU 使用率高的情况下运行 4-5 次，您将开始看到模式并能够通过这种方式确定 CPU 使用率过高的原因。

在我的时间里，我看到过长时间运行 gc 时间到 LDAP 连接配置错误导致的结果。玩得开心:)