linux - 如何用几台 Linux 电脑下载大量远程文件？

Question

假设我需要通过 HTTP 从远程主机下载很多小文件，并且我有一个要下载的 URL 列表。还假设远程主机只允许 K 连接到我的本地网络。我的本地网络有 M 台计算机，我想在它们之间平均分配文件。我所有的电脑都运行 Linux。现在我想知道如何组织下载。

现在我假设一台计算机足以处理所有 K 连接并将所有这些文件存储在其本地文件系统中。因此，我会分配一台计算机将文件“下载”到以 M 本地主机命名的 M 文件夹。本地主机将文件从这些文件夹复制(移动)到它们的文件系统。是否有意义 ？实现它的最简单方法是什么？

Answer 1

您的方法很好，但假设所有文件的大小都相同，并且所有计算机的性能都相同。如果一台计算机处理完它的文件而另一台计算机仍在处理一半，会发生什么情况？在这种情况下，虽然您有可用的处理器，但它会闲置。但是要实现这一点，您将需要复杂得多的分布式计算，所以我想说，如果这是一项一次性任务，或者如果总时间不长，那么您的方法应该没问题，否则您需要评估分布式方法。