windows - 在 Windows 中使用 IOCP 时缓存 OVERLAPPED 结构

Question

我在 Windows 中使用 I/O 完成端口，我有一个名为“Stream”的对象，它类似于和抽象一个 HANDLE(因此它可以是套接字、文件等)。

当我调用 Stream::read() 或 Stream::write() 时(因此，对于文件，调用 ReadFile()/WriteFile()，对于套接字调用 WSARecv()/WSASend())，我分配了一个新的 OVERLAPPED 结构，以便发出一个挂起的 I/O 请求，该请求将由其他线程在 IOCP 循环中完成。

然后，当 OVERLAPPED 结构将被 IOCP 循环完成时，它将在那里被销毁。如果是这种情况，Stream::read() 或 Stream::write() 会再次从 IOCP 循环中调用，它们将实例化新的 OVERLAPPED 结构，并且它将永远持续下去。

这很好用。但现在我想通过添加 OVERLAPPED 对象的缓存来改进这一点:当我的 Stream 对象进行大量读取或写入时，缓存 OVERLAPPED 结构绝对有意义。

但现在出现了一个问题:当我取消分配一个 Stream 对象时，我必须取消分配缓存的 OVERLAPPED 结构，但是我如何知道它们是否已经完成或仍在等待中，并且 IOCP 循环之一将在最近完成？所以，这里需要一个原子引用计数，但现在的问题是，如果我使用原子引用计数器，我必须为每个读或写操作增加该引用计数器，并减少每个 IOCP OVERLAPPED 结构或 Stream 删除的循环完成，这在服务器中是很多操作，所以我将通过增加/减少很多原子计数器来结束< em>很多次。

这是否会对多线程的并发性产生非常不利的影响？这是我唯一担心的问题，它阻止我为每个 OVERLAPPED 结构放置这个原子引用计数器。

我的担忧是没有根据的吗？

我认为这是一个需要指出的重要主题，关于 SO 的问题，看看其他人对此的想法以及使用 IOCP 缓存 OVERLAPPED 结构的方法，是值得的。如果可能的话，我希望在不使用原子引用计数器的情况下找到一个聪明的解决方案。

Answer 1

假设您将数据缓冲区与 OVERLAPPED 结构捆绑为“按操作”数据对象，然后将它们合并在一起以避免过度分配/取消分配和堆碎片是一个好主意。

如果您只将此对象用于 I/O 操作，则不需要引用计数，只需从池中取出一个，用它执行 WSASend/WSARecv，然后在完成后将其释放到池中在 IOCP 完成处理程序中使用它。

但是，如果您想变得更复杂一些，并允许将这些缓冲区传递给其他代码，那么您可能需要考虑对它们进行引用计数(如果这样更容易的话)。我在我当前的框架中这样做，它允许我拥有用于​​事物网络方面的通用代码，然后将数据缓冲区从读取完成传递给客户代码，他们可以用它们做他们想做的事，当他们完成时，他们发布他们回到游泳池。这目前使用引用计数，但我正在远离它作为一个小的性能调整。引用计数仍然存在，但在大多数情况下，它只会从 0 -> 1 然后再次变为 0，而不是在我的框架内的各个层进行操作(这是通过将缓冲区的所有权传递给用户来完成的)使用智能指针的代码)。

在大多数情况下，我预计引用计数不太可能是您最昂贵的操作(即使在从多个节点使用缓冲区的情况下在 NUMA 硬件上也是如此)。将这些东西放回池中所涉及的锁定更有可能成为您的瓶颈；我已经解决了那个问题，所以我将转向下一个更高的水果；)

您还谈到了您的“每个连接”对象并在本地缓存您的“每个操作”数据(这是我在将它们推回分配器之前所做的)，而“每个”并不严格要求引用计数操作”数据，“每个连接”数据至少需要一个可原子修改的“正在进行的操作数”计数，以便您知道何时可以释放 IT。同样，由于我的框架设计，这已成为一个正常的引用计数，客户代码可以为其保存引用以及事件的 I/O 操作。我还没有找到解决通用框架中对此计数器需求的方法。