linux - 如何在 Linux 中使用 lynx/w3m 提取多个 URL 的文本

Question

我在一个文本文件中列出了 50 个奇怪的 URL(每行一个 URL)。现在，对于每个 URL，我想提取网站的文本并将其保存下来。这听起来像是 Linux 中的 shell 脚本的工作。

目前我正在整理东西:

1. 说 sed -n 1p listofurls.txt 我可以读取我的 URL 文件中的第一行 listofurls.txt
2. 使用 lynx -dump www.firsturl... 我可以使用管道输出通过各种命令来整理和清理它。完成，行得通。

在自动化之前，我正在努力将 URL 管道输入到 lynx 中:say

sed -n 1p listofurls.txt | lynx -dump -stdin

不起作用。

对于一个 URL，更重要的是，对于我在 listofurls.txt 中的每个 URL，我该如何做到这一点？

Answer 1

你可以这样写脚本

vi script.sh

#content of script.sh#
while read line
do
    name=$line
    wget $name
    echo "Downloaded content from - $name"
done < $1
#end#

chmod 777 script.sh

./script.sh listofurls.txt