linux - 如何使用linux命令行批量下载数据？

Question

例如我想从以下位置下载数据: http://nimbus.cos.uidaho.edu/DATA/OBS/

链接:

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_1979.nc

到

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_2015.nc

如何编写脚本来下载所有这些文件？使用 wget？以及如何循环从 1979 年到 2015 年的链接？

Answer 1

wget 可以将文件作为输入，每行包含 URL。

wget -ci url_file

-i : 输入文件
-c : 恢复功能

所以您需要做的就是将 URL 放入一个文件中，然后将该文件与 wget 一起使用。

像 Jeff Puckett II's answer 这样的简单循环对于您的特定情况就足够了，但如果您碰巧要处理更复杂的情况(随机 url)，此方法可能会派上用场。