java - 通过套接字复制文件的最快方法

Question

通过套接字复制文件的最快方法是什么？我尝试了多种方法，但我不相信我找到了关于传输和 CPU 使用率的最快方法。 (最佳结果:175mBit/s(SSD/GBit 网络))

服务器:

ByteBuffer bb = ByteBuffer.allocate(packet_size);
DataOutputStream data_out = new DataOutputStream(socket.getOutputStream());

while(working){

    int count =0;
    int packet_size = in.readInt();
    long pos = in.readLong();
    if(filechannel.position()!=requested_pos){
        filechannel.position(requested_pos);
    }
    bb.limit(packet_size);
    bb.position(0);
    if((count=filechannel.read(bb))>0){  //FileInputStream.getChannel()
        data_out.writeInt(count);
        data_out.write(bb.array(),0,count);
    }else{
     working=false;
    }
}

客户:

for(long i=0;i<=steps;i++){

    data_out.writeInt(packet_size);     //requested packet size
    data_out.writeLong(i*packet_size);  //requested file position

    count=in.readInt();
    bb.clear();
    bb.limit(count);

    lastRead=0;
    while(lastRead<count){
        lastRead+=in.read(bytes,lastRead,count-lastRead);  
    }
    bb.put(bytes,0,count);
    bb.position(0);
    filechannel.write(bb); // filechannel over RandomAccessFile
 }

有什么建议吗？

Answer 1

您只看到了问题的一半。用于发送/接收的代码只是因素之一。无论您如何努力优化它，如果您使用不合适的参数设置套接字，性能都会受到很大影响。

对于大量数据传输，请确保套接字具有相当大的缓冲区。我会选择至少 64kb，可能更大。发送和接收缓冲区可以独立设置，对于发送方，您需要一个大的发送缓冲区，对于接收方，您需要一个大的接收缓冲区。

    socket.setReceiveBufferSize(int);
    socket.setSendBufferSize(int);
    socket.setTcpNoDelay(false);

将 TCP NO DELAY 设置为 OFF，除非您知道您在做什么，并且在确认您确实绝对需要之后。它永远不会提高吞吐量，相反，它可能会牺牲吞吐量以减少延迟。

接下来的事情是定制您的发送者代码，以尽最大努力始终保持缓冲区满。为了以最大速度读取文件和写入套接字，应将其分为两个独立的线程，并使用某种队列相互通信。队列中的 block 应该相当大(至少几 kb)。

同样，接收代码应尽最大努力保持接收缓冲区尽可能为空。同样，为了获得最大速度，这需要两个线程，一个读取套接字，另一个处理数据。像发送者一样在中间排队。

队列的工作是将从文件读取数据/向文件写入数据的停顿与实际网络传输分离，反之亦然。

以上是如何获得最大吞吐量的通用模式，无论传输 channel 如何。较慢的 channel 将保持完全饱和，无论是文件读/写还是网络传输。

可以调整缓冲区大小，以挤出最后百分之几的可能性能(我从 64kb 的套接字和 8kb block 的队列开始，最大队列大小为 1mb，这应该提供相当接近于最大可能)。

您可能遇到的另一个限制因素是 TCP 传输窗口缩放(尤其是在高带宽、高延迟连接上)。除了确保接收器尽快清空接收缓冲区之外，您无法从 java 端执行任何操作。操作系统级别存在调整选项。