linux - 套接字何时*确切*准备好写入？

Question

当应用程序有大量数据(400M)要写入非阻塞套接字时，write() 返回EWOULDBLOCK 或EAGAIN 当发送缓冲区变满时。

当套接字被(e)轮询时，我有时会看到发送缓冲区中有 7M 空间(有时为 20M，有时为 1M)时发生写就绪通知。写就绪回调之间的延迟差异很大:从几毫秒到几十秒!

所以我的问题是内核究竟何时触发套接字的写入准备？什么会影响写就绪的触发？显然它不会在将 1B 写入线路后立即触发。

如有任何帮助，我们将不胜感激!

我正在使用:

Ubuntu 12.04 长期支持版

内核 3.8.0-39-通用

架构:x86_64

编辑:此上下文中的套接字是 TCP/IP 套接字。

Answer 1

So my question is when exactly does the kernel trigger a write-ready for a socket?

tl；博士；只要您的套接字有足够的缓冲区空间，写入就会成功，并且 epoll_wait 将在默认的级别触发模式下返回事件。如果套接字空间不足，阻塞的写入器将进入休眠状态。当数据被确认释放空间时，内核将唤醒进程(或传递 epoll 事件以表明套接字可写)但前提是套接字空间不足。就像以前一样，只要套接字可写，即使没有新的通知来自 TCP，级别触发的事件也会涌入。

执行实际通知的函数是sk_write_space。这是 struct sock 的成员，对于 TCP，相关实现是 stream.c 中的 sk_stream_write_space .

    ...
    if (skwq_has_sleeper(wq))
        wake_up_interruptible_poll(&wq->wait, EPOLLOUT |
                    EPOLLWRNORM | EPOLLWRBAND);
    if (wq && wq->fasync_list && !(sk->sk_shutdown & SEND_SHUTDOWN))
        sock_wake_async(wq, SOCK_WAKE_SPACE, POLL_OUT);
    ...

这个函数唤醒任何可能正在等待内存的调用者。(将此与 sock_def_write_space 进行比较。

但是什么时候调用sk_write_space？有几个调用站点，但最突出的是 tcp_new_space，它由 tcp_check_space 调用，它由 tcp_data_snd_check 调用，它是从一堆调用的接收路径上的位置。函数has a descriptive comment :

 When incoming ACK allowed to free some skb from write_queue,
 we remember this event in flag SOCK_QUEUE_SHRUNK and wake up socket
 on the exit from tcp input handler.

tcp_check_space 很有趣:

    if (sock_flag(sk, SOCK_QUEUE_SHRUNK)) {
        sock_reset_flag(sk, SOCK_QUEUE_SHRUNK);
        /* pairs with tcp_poll() */
        smp_mb();
        if (sk->sk_socket &&
            test_bit(SOCK_NOSPACE, &sk->sk_socket->flags)) {
            tcp_new_space(sk);
            ...
        }

这里有一些相关的位:

1. SOCK_QUEUE_SHRUNK 被定义为“写入队列最近已收缩”，并在传输路径上设置。 tcp_check_space 检查并清除它。
2. SOCK_NOSPACE 当我们用完缓冲区空间时在传输路径上设置。

所有这些的结论是 tcp_check_space 避免发送事件，除非套接字空间不足。

tcp_data_snd_check 怎么样？在稳定状态期间，最相关的调用在 tcp_rcv_established 中:

1. 快速路径: https://github.com/torvalds/linux/blob/master/net/ipv4/tcp_input.c#L5575

2. 近乎快速的路径: https://github.com/torvalds/linux/blob/master/net/ipv4/tcp_input.c#L5618

3. 慢速路径: https://github.com/torvalds/linux/blob/master/net/ipv4/tcp_input.c#L5658

所有这些信号数据都被成功确认。

---

sk_write_space在TCP中还有其他的调用者。 do_tcp_sendpages 和 tcp_sendmsg_locked 在错误路径上调用它以确保调用者被唤醒。 do_tcp_setsockopt 在设置 TCP_NOTSENT_LOWAT 时调用它。