java - 了解后端文件播种以提供快速客户端下载

Question

我项目的主题是实现一个分布式服务器，它为多个客户端提供多个文件供下载。服务器托管多个文件，我们希望服务器应实现一些最佳算法，以便客户端快速从中下载数据。

我的项目实现思路:

就像客户端通常使用一些下载管理器下载文件一样，同样必须存在一些服务器端管理器/代码/算法可以快速上传/播种文件，让客户端下载文件。 除了选择要下载的文件外，客户端不能有任何 Action !

我应该如何在后端为这样的服务器编写代码，类似于前端客户端的基于多线程的下载管理器？

如果客户端仅将路径作为 String 发送到 Java 服务器进行下载，服务器应如何为客户端播种/使用文件？

或者，如果我遗漏了什么/我的想法完全错误，请用我必须在服务器端实现的替代过程/算法启发我。请记住，问这个问题的全部目的是后端服务器播种算法或等效算法/方法。

Answer 1

我假设，您的这台服务器具有良好的互联网连接和广泛的上游。如果是这种情况，那么当只有少数客户端下载少量文件时，限制因素就是这些客户端的带宽。因此，您最多只能获得与客户的下游带宽一样快的速度。因此，只需使用现成的 HTTP 服务器库来提供下载服务就足够了。

您的后端实现真正重要并且能够提高下载性能的地方是许多用户连接到您的服务器并下载许多文件。首先，需要考虑以下几点:

• TCP 有一个启动时间。当您第一次打开连接时，下载速率会慢慢开始增加，直到达到最大值。为尽量减少此时间，下载多个文件时，为一个文件下载打开的连接应重新用于下一个文件。

• 当带宽是限制因素时，一次(在客户端)下载许多文件是不合理的，因为客户端必须启动许多 TCP 连接，并且数据在写入磁盘时会碎片化，或者(预先分配时)磁盘在扇区之间跳跃时会非常繁忙。

• 您的服务器通常应使用非阻塞 IO 库(例如 java.nio )并避免为每个传入连接创建线程，因为这会导致 thrashing这再次大大降低了服务器的性能。

如果您有大量客户端同时从您的服务器下载，您可能会达到的限制是:

• 您的提供商的上游限制

• 您的硬盘驱动器的读取速度(据我所知，SSD 约为 500MB/s)

您的服务器可以尝试将最常请求的文件保存在他的内存中并从那里提供内容(DDR3 RAM reaches speeds of 17GB/s)。我怀疑您的服务器上只有很少的文件可以将它们全部缓存在服务器的 RAM 中。

因此，主要的工程任务在于巧妙地选择哪些内容应该缓存，哪些不应该缓存。这可以通过为某些文件分配更高的优先级或通过对在接下来的几分钟内下载单个文件的概率进行编码的度量来基于优先级来完成。或者只是此时大多数客户端下载的文件。

有了这样的考虑，您就可以将下载服务器的限制推到某个点，从这个点开始，唯一的改进可以通过将文件分发或复制到许多服务器上来实现。

如果您正朝着必须同时为数百万客户提供服务的方向发展，您应该考虑从 CDN 购买此类服务。他们擅长快速交付，在大多数 AS 中都有许多上游服务器，因此每个客户端都可以从区域 CDN 服务器下载他的文件。

---

我知道，我没有给出任何算法或代码示例，但我并不打算完全回答这个问题。我只是想为您提供有关该主题的一些重要指导和想法。我希望，您至少可以在您的项目中使用其中的一些想法。