visual-c++ - Windows 桌面在繁重的网络 I/O 期间变得瘫痪/Windows 内核仅分配了众多 CPU 中的 1 个？

Question

问题:我们在Windows Server 2012系统上实现了一个视频录制系统。尽管 CPU 和内存消耗很低，但我们面临着严重的性能问题。

简短的程序描述:应用程序 (VS2005/C++) 创建许多网络套接字，每个套接字从以太网接收多播 UDP 视频流。对于每个流，应用程序通过调用 WSARecvFrom()(重叠操作)提供接收缓冲区，在 MsgWaitForMultipleObjects() 中等待窗口的“数据到达”事件，获取数据包，然后在无休止的循环中再次重复所有操作。对于测试，为了确保除了纯套接字 IO 工作之外的最小 CPU 和内存消耗，应用程序什么都不做，也不做任何磁盘/文件 IO。应用程序进程配置为使用机器上的所有可用核心(默认关联设置不变)。

测试运行:测试在两台不同的机器上运行:a) 具有 4 个物理内核/8 个具有超线程的 Windows 7，以及 b) 具有 12 个物理内核/24 个具有超线程的 Windows Server 2012。

两个系统都显示出相同的问题:在配置一定数量的套接字/网络流之前一切正常。进一步增加它们(我们需要)最终使 Windows 桌面瘫痪(鼠标指针、重新绘制)。在此阶段，总 CPU 负载仍然很低(即 10-15%)，并且有很多空闲内存可用。但是任务管理器显示出极端单向的 CPU 负载:CPU 0 接近 100%，所有其他 CPU 接近 0%。在任务管理器中更改进程的处理器亲和性没有帮助。

问题 1:看起来 CPU 0 正在做整个内核的网络 IO 工作。这可能吗？

问题 2:如果是，有没有办法控制内核对可用 CPU 的使用？如果是，怎么办？

问题 3:如果不是，是否有任何其他方式让 Windows 将(内核)网络 IO 工作分配给其他 CPU(即通过安装多个 NIC 卡，每个 NIC 只接收网络流的一个子集，并绑定(bind)每个NIC 到另一个 CPU) ?

非常感谢任何人的提示。

Answer 1

我不是 Windows 服务器专家，但这听起来像是一个中断问题。这经常发生在高吞吐量系统中，尤其是实时系统。

背景:

简单来说，对于每个数据包，您的网络接口(interface)都会生成一个中断，通知 CPU 它需要处理新到达的数据。接收小数据包的高吞吐量网卡(例如 10Gbps)很容易因这些中断而使 CPU 不堪重负。

为了了解这个问题，让我们做一些数学运算——如果您用 100 字节数据包使 10G 线路饱和，这意味着(理想情况下)每秒通过线路发送 12,500,000 个数据包。实际上，由于开销较少；比如说每秒 10,000,000 个数据包 (pps)。你的 3Ghz cpu 每秒产生 3,000,000,000 个时钟。所以它需要每 300 个时钟周期处理一个数据包。这对于通用机器来说相当困难。

现在，我不知道您的数据包到达率，也不知道您的平均数据包长度。但根据您描述的症状，您可能遇到了这个问题。

解决方案

1. 将工作卸载到您的卡上

现代网卡，尤其是高吞吐量网卡，支持各种有用的卸载，例如 GRO , TOE ， 和别的。这些从 CPU 中取出一些与网络相关的工作(例如校验和计算、数据包分段等)，并将其放在带有专用硬件的网卡上执行。检查您的卡支持的卸载。在 Linux 中，管理卸载是使用名为 ethtool 的应用程序执行的。由于我没玩过windows的offloading，所以只能指向most relevant windows article I found的方向，但我无法提供任何基于经验的建议。

1. 使用 interrupt throttling .

中断节流是(某些)网卡及其驱动程序的另一种能力，它允许它们限制您的 CPU 接收的中断数量，本质上是每隔几个数据包就中断一次核心，而不是每个数据包一次。

1. 使用多队列网卡，并设置中断亲和性。

一些网卡有多个(数据包)队列，因此有多个中断线，每个队列一个。他们使用哈希函数在队列之间平均分配传入流量，以 1/8 或 1/16 的线路速率创建(通常)8 或 16 个流。每个流都可以使用中断 affinity 绑定(bind)到特定的 CPU 内核，并且由于哈希函数是根据 IP 和端口号计算的，并且是确定性的，因此每个 TCP/IP 级别的 session 将始终由同一个核心。在 Linux 中，设置亲和性需要写入 /proc/irq/<interrupt number>/smp_affinity .在 Windows 中，this似乎是这样。