c# - 连续读取 CF 上的多个 TCP 连接

Question

我有一个简单的 TCP 服务器，它能够在一个端口上监听和接受多个连接。然后它不断等待从其连接中读取数据。为方便起见，它使用名为 ConnectedClient 的 TcpClient 包装类，并使用 ConnectedClients 列表(字典)来跟踪所有连接。它基本上是这样的:

/* this method waits to accept connections indefinitely until it receives 
   the signal from the GUI thread to stop. When a connection is accepted, it 
   adds the connection to the list and calls a method called ProcessClient, 
   which returns almost immediately.*/
public void waitForConnections() {
        // this method has access to a TcpListener called listener that was started elsewhere
        try {
            while (!_abort) {
                TcpClient socketClient = listener.AcceptTcpClient();

                //Connected client constructor takes the TcpClient as well as a callback that it uses to print status messages to the GUI if   
                ConnectedClient client = new ConnectedClient(socketClient, onClientUpdate);
                clients.Add(client.id, client);
                ProcessClient(client);
            }
        }
        catch (Exception e) {
            onStatusUpdate("Exception Occurred: " + e.Message);
        }
    }

    /* This method doesn't do much other than call BeginRead on the connection */
    private void ProcessClient(ConnectedClient client) {
        try {
            // wrapper class contains an internal buffer for extracting data as well as a TcpClient
            NetworkStream stream = client.tcpClient.GetStream();
            stream.BeginRead(client.buffer, 0, client.tcpClient.ReceiveBufferSize, new AsyncCallback(StreamReadCompleteCallback), client);
        }
        catch (Exception ex) {
            onStatusUpdate(ex.Message);
        }
    }

在我的回调函数StreamReadCompleteCallback 中，我调用了EndRead，通过检查EndRead 的返回值来检测连接是否已经关闭。如果返回值大于零，我提取/处理读取的数据并在同一客户端上再次调用 BeginRead。如果返回值为零，则连接已关闭，我将删除连接(从列表中删除，关闭 TcpClient 等)。

    private void StreamReadCompleteCallback(IAsyncResult ar) {
        ConnectedClient client = (ConnectedClient)ar.AsyncState;

        try {
            NetworkStream stream = client.tcpClient.GetStream();

            int read = stream.EndRead(ar);
            if (read != 0) {
                // data extraction/light processing of received data
                client.Append(read);
                stream.BeginRead(client.buffer, 0, client.tcpClient.ReceiveBufferSize, new AsyncCallback(StreamReadCompleteCallback), client);
            }
            else {
                DisconnectClient(client);
            }
        }
        catch (Exception ex) {
            onStatusUpdate(ex.Message);
        }
    }

所有这些工作正常，我可以接受连接并从多个客户端设备读取等。

我的问题是:这种从连接的客户端持续读取的方法导致每个连接都有一个等待 BeginRead 返回的工作线程。

因此，如果我有 10 个连接，我将进行 10 个 BeginReads。

让这么多工作线程等待读取似乎很浪费。还有其他更好的方法来完成这个吗？如果我有大量事件连接，我最终会用完内存来添加连接。

有一个线程轮询每个连接的 DataAvailable 属性直到出现某些东西，然后让一个线程读取/处理是一个解决方案吗？

或者创建所有这些工作线程并不像我想的那么重要？

Answer 1

This method of continuously reading from connected clients causes each connection to have a worker thread that is waiting for BeginRead to return

不，它没有。事实上，使用 BeginRead()或在 Socket 上处理 I/O 的其他异步替代方法之一object 是最具可扩展性的使用方法。

Would having a thread that polls the DataAvailable property of each connection until something shows up, and then makes a thread to read/process be a solution?

没有。这太可怕了。通过 DataAvailable 轮询套接字或 Select() , 效率非常低，迫使大量的 CPU 时间投入到检查套接字状态上。操作系统提供了很好的异步机制来处理这个问题；轮询实现会忽略这一点并自行完成所有工作。

Or is creating all these worker threads not as big of a deal as I think?

您并不是在创建您认为的线程。当您使用异步 API 时，它们会利用窗口中称为 I/O 完成端口 的功能。 I/O Completion Port 与 I/O 操作相关联，线程可以在端口上等待。但是一个线程可以处理大量操作的等待，因此有 10 个未完成的读取操作实际上不会导致创建 10 个不同的线程。

.NET 管理一个线程池来处理这些操作，作为 ThreadPool 的一部分进行管理类(class)。您可以监视该类以查看 IOCP 池的行为(这与用于 QueueUserWorkItem() 的工作线程池不同)。

.NET 将根据需要分配新的 IOCP 对象和线程来为您的网络 I/O 操作提供服务。您可以放心，它将以合理、高效的方式进行。

在非常大的规模下，与读取操作相关的对象的垃圾收集开销可能会发挥作用。在这种情况下，您可以使用 ReceiveAsync()方法，它允许您为操作重用自己的状态对象池，这样您就不会不断地创建和丢弃对象。

另一个可能出现的问题是内存碎片，尤其是在大对象堆中(取决于您使用的缓冲区的大小)。当您在套接字上开始读取操作时，必须固定缓冲区，以防止 .NET 压缩它所在的堆。

但这些问题并不是避免使用异步 API 的理由(事实上，第二个问题无论如何都会发生)。它们只是需要注意的事情。使用异步 API 实际上是最好的方法。

也就是说，BeginReceive()是“守旧派”。它有效，但你可以包装一个 BeginReceive()在 Task 中运行(参见 Task.FromAsync() 和 TPL 和 Traditional .NET Framework Asynchronous Programming )，或者您可以包装整个 Socket在NetworkStream对象(具有 ReadAsync() 和类似的方法)，这将允许您以不需要使用显式回调方法的更具可读性的方式编写异步代码。对于网络 I/O 总是以与 UI 的某些交互结束的场景，允许您使用 async/await再次以更易读、更易于编写的方式这样做。