linux - 断开与 tcp_tw_recycle 的连接

Question

问题总结

我们有一个设置，其中有很多(每秒 800 到 2400 个)传入连接到 linux 机器，我们在客户端和服务器之间有一个 NAT 设备。所以系统中还有很多 TIME_WAIT 套接字。为了克服这个问题，我们将 tcp_tw_recycle 设置为 1，但这导致了连接中断。浏览网络后，我们确实找到了为什么会发生 tcp_tw_recycle 和 NAT 设备丢帧的引用资料。

已尝试解决

然后我们尝试将 tcp_tw_reuse 设置为 1，它在相同的设置和配置下工作正常，没有任何问题。

但是文档说，当通过 TCP 状态感知节点(例如防火墙、NAT 设备或负载平衡器)的连接可能会看到丢帧时，不应使用 tcp_tw_recycle 和 tcp_tw_reuse。连接越多，您就越有可能看到此问题。

查询

1) tcp_tw_reuse 可以在这种场景下使用吗？2) 如果不是，linux 代码的哪一部分阻止了 tcp_tw_reuse 被用于这种情况？3) 一般来说，tcp_tw_recycle 和 tcp_tw_reuse 有什么区别？

Answer 1

默认情况下，当tcp_tw_reuse 和tcp_tw_recycle 都被禁用时，内核将确保处于TIME_WAIT 状态的套接字将保持在该状态足够长——足够长以确保属于 future 连接的数据包不会被误认为是旧连接的延迟数据包。

当您启用tcp_tw_reuse 时，处于TIME_WAIT 状态的套接字可以在它们过期之前使用，并且内核将尝试确保没有关于TCP 序列号的冲突.如果启用 tcp_timestamps(又名 PAWS，用于防止包装序列号)，它将确保不会发生这些冲突。但是，您需要在两端 启用 TCP 时间戳(至少，这是我的理解)。查看definition of tcp_twsk_unique血淋淋的细节。

当您启用 tcp_tw_recycle 时，内核会变得更加积极，并且会对远程主机使用的时间戳做出假设。它将跟踪连接处于 TIME_WAIT 状态的每个远程主机使用的最后一个时间戳，如果时间戳已正确增加，则允许重新使用套接字。但是，如果主机使用的时间戳发生变化(即时间倒退)，SYN 数据包将被静默丢弃，并且连接不会建立(您将看到类似于“connect”的错误暂停”)。如果您想深入研究内核代码，definition of tcp_timewait_state_process可能是一个很好的起点。

现在，时间戳永远不应该回到过去；除非:

• 主机重新启动(但是，当它恢复时，TIME_WAIT 套接字可能已经过期，所以这不是问题)；
• IP 地址很快被其他东西重用(TIME_WAIT 连接会保留一点，但其他连接可能会被 TCP RST 中断，这会释放一些空间)；
• 网络地址转换(或 smarty-pants 防火墙)参与连接的中间过程。

在后一种情况下，您可以在同一个 IP 地址后面拥有多个主机，因此，时间戳序列不同(或者，所述时间戳在每个连接上由防火墙随机化)。在那种情况下，一些主机将随机无法连接，因为它们被映射到服务器的 TIME_WAIT 桶具有较新时间戳的端口。这就是文档告诉您“NAT 设备或负载平衡器可能会因为设置而开始丢帧”的原因。

有些人建议单独保留 tcp_tw_recycle，但启用 tcp_tw_reuse 并降低 tcp_fin_timeout。我同意 :-)