linux - TCP 套接字挂起 - 双方都卡在 sendto()

Question

我们有一个似乎挂起的 Linux 应用程序(我们没有源代码)。两个进程之间的套接字被报告为已建立，内核套接字缓冲区中有一些数据(虽然远不及通过 wmem/rmem 配置的 16M)。套接字的两端似乎都卡在了 sendto() 上。

下面是一些使用 netstat/lsof 和 strace 的调查:

主机 A (10.152.20.28)

[root@hosta ~]# lsof -n -u df01 | grep 12959 | grep 12u
q         12959 df01   12u  IPv4            4398449                TCP 10.152.20.28:38521->10.152.20.29:gsigatekeeper (ESTABLISHED)

[root@hosta ~]# netstat -anp | grep 38521
tcp   268754  90712 10.152.20.28:38521          10.152.20.29:2119           ESTABLISHED 12959/q

[root@hosta ~]# strace -p 12959
Process 12959 attached - interrupt to quit
sendto(12, "sometext\0somecode\0More\0exJKsss"..., 542, 0, NULL, 0 <unfinished ...>
Process 12959 detached
[root@hosta~]#

主机 B (10.152.20.29)

[root@hostb ~]# netstat -anp | grep 38521
tcp    72858 110472 10.152.20.29:2119           10.152.20.28:38521          ESTABLISHED 25512/q

[root@hostb ~]# lsof -n -u df01 | grep 38521
q         25512 df01   14u  IPv4            6456715                 TCP 10.152.20.29:gsigatekeeper->10.152.20.28:38521 (ESTABLISHED)

[root@hostb ~]# strace -p 25512
Process 25512 attached - interrupt to quit
sendto(14, "\0\10\0\0\0Owner\0sym\0Type\0Ctpy\0Time\0Lo"..., 207, 0, NULL, 0 <unfinished ...>
Process 25512 detached
[root@hostb~]#

我们已将 NIC 驱动程序升级到最新最好的。系统正在运行 RHEL 5.6 x64 (2.6.18-238.el5)，我已经检查了 RHEL 5.7 和 5.8 的 eratta，但我没有看到 bnx2 驱动程序或内核的错误。

有没有人知道如何进一步调试它？

Answer 1

任何一方都在阅读吗？如果不是，可能是双方的接收缓冲区都满了，导致不发送数据(由于接收窗口被填满)，导致双方的发送缓冲区都被填满，这会导致sendto阻止。 (如果应用程序设置了 SO_RCVBUF 和 SO_SNDBUF 套接字选项，尽管您设置了 wmem/rmem，这也可能发生。)

为了调试它，我会同步两台机器的时钟，然后在 strace 下运行两个应用程序与 -e trace=network和 -tt选项，因此您可以比较日志并查看应用程序是否未读取。

您还可以使用网络分析器(例如 Wireshark )来确定 TCP 接收窗口是否停留在 0。

如果是这种情况，您可能可以通过创建一个小型缓存代理来解决此问题，该代理将从双方接收/发送，缓冲当时无法发送的内容。