linux - SO_REUSEPORT 套接字服务器

Question

我一直在为 Linux 开发多线程套接字服务器，我正在尝试不同的方法来多路复用 I/O，看看哪种方法效果最好。

我已经有了创建共享 epoll/套接字的代码 - 启用了 EPOLLONESHOT - 每个线程都从中提取事件，然后在处理后重新武装 fd 上的 EPOLLONESHOT。

(“处理”，在这种情况下，意味着读取直到 EAGAIN/EWOULDBLOCK，然后发回一个简单的回复。基本上，我使用“ab”来测试它，所以它发送一个 HTTP GET 请求，我发送一个返回 HTTP“200 OK”。)

但我想试试 SO_REUSEPORT。所以每个线程都有自己的 epoll/socket，绑定(bind)到同一个端口。实际上，每个线程都是它自己的“迷你服务器”，我们让内核在它们之间进行负载平衡。

我执行了一个 accept()，为传入连接获取一个 fd，因此我将其添加到 epoll。一旦对该 fd 进行了处理，我自然会调用 close() 来结束对话。

但这似乎间歇性地丢弃传入的接受(并且“间歇性地”我的意思是它表现得像一个竞争条件 - 有时有效，有时无效，以随机方式)。

阅读这篇文章，显然有一个已知的错误，即 accept() 和 close() 之间可能存在竞争条件，因为 close() 导致事物的重新平衡并且接受队列刚刚重置，因此它们被丢弃.

我正在尝试解决这个问题。

我的一个想法是将 accepts 从 epoll 处理队列中分离出来，这样关闭 epoll 上的 fd 就不会清除该队列中的 accepts。

但这在逻辑上是行不通的，因为我不能让一个线程同时阻塞 accept() 和阻塞 epoll_wait()。为了正确地多路复用，我们必须阻止所有事件。

我得到的方法是，有多少个核心，就有多少个“迷你服务器”，每个核心都固定在一个核心上。因此，它们实际上是并行运行的，没有上下文切换。

这意味着虽然我可以生成一个新线程来处理新传入的 fd - 并让主线程在循环中只接受 accept() - 但是这在某种程度上违背了固定 CPU 的目的，并且多路复用的整个想法是摆脱“每个连接一个线程”的事情。

我查找了 SO_REUSEPORT 服务器的源代码，看看其他人如何处理这个问题，但我所能找到的只是一个简单的演示，它不是多线程/多核的。

有谁知道我如何解决这个问题才能使多线程 SO_REUSEPORT 套接字服务器真正工作？

Answer 1

当我测试自己的服务器代码时，我的注意力集中在服务器上。自然够了。

但注意到我在 Internet 上找到的一个示例，该示例设置了 SO_RCVTIMEO 套接字选项 - 接收超时 - 在将套接字 fd 从 accept 添加到 epoll 之前，我也尝试过这个，现在它所有运行都没有问题(1000 个并发的 100 万个请求，每个核心的使用率稳定在 30-40% 左右)。

我很想知道为什么这有固定的东西，但我认为这只是我的服务器不能容忍通信客户端的延迟、问题等，所以它卡在了通信中的任何问题 - 然后它将永远等待，因为没有超时。

为所有操作添加超时是有意义的 - 以防万一 - 因为网络通信从来都不是 100% 完美的。而且，一如既往地在编码中，无论如何都应该将所有输入视为不可靠且可能是恶意的。