shell - 如何从列表和多线程中获取？

Question

我一直在使用它从存储在文本文件中的列表中获取大量 URL:

wget -i websites.txt

但是，在我看来，一次下载一个文件然后继续下一个文件。我对此可能是错误的，如果是这样，请随时告诉我。

但是如果我想让它同时下载 10 个或 20 个文件怎么办？这可以用一个简单的 wget 命令来完成，还是需要更复杂的东西？

顺便说一下，这些都是正在下载的非常小的文件 (~80kb)。下载数百万次似乎要花很长时间...

Answer 1

您可以使用并行命令:

parallel -a websites.txt --jobs 10 wget

用 -a 从文件中读取每一行， --jobs 表示要读取多少行并行运行，wget 将以文件的下一行作为后缀。