linux - 如何通过linux终端复制网页内容到文件中？

Question

我想将网页中的一些文本复制到 Linux 中的文件中。我知道“wget”可以用来下载文件，但是我最喜欢的数据没有存储在文件中，当我想要它们时，我必须手动使用复制和粘贴，这对于数千个网页来说非常困难。例如，我需要以下链接中的数据:

http://weather.uwyo.edu/cgi-bin/sounding?region=naconf&TYPE=TEXT%3ALIST&YEAR=2017&MONTH=09&FROM=0112&TO=0112&STNM=72672

以及具有不同 YEAR、MONTH、FROM、TO、STNM 值的类似链接。是否有任何命令/脚本可以自动复制和粘贴？

Answer 1

首先，创建一个包含所有年、月、从、到和 stnm 的文件。每一项占一行:

输入文件.txt:

2017,09,0112,0112,72672
2017,08,0112,0112,72672

在 shell 脚本中，逐行循环该文件并执行 wget，用从读取行填充的变量替换硬编码值:

#!/bin/bash
while IFS=, read -r year month from to stnm; do
  wget "http://weather.uwyo.edu/cgi-bin/sounding?region=naconf&TYPE=TEXT%3ALIST&YEAR=$year&MONTH=$month&FROM=$from&TO=$to&STNM=$stnm"
done < inputFile.txt

这是最基本的版本，我确信它可以使用一些调整来启动和运行，但它应该很接近。

执行shell脚本:

bash whateveryounamedthisscript.sh

在此示例中，将生成两个新文件，一个用于 9 月，另一个用于 8 月。