linux - wget 仅记录成功下载的 url

Question

我只想记录下载成功的网址。我尝试使用 -o log.txt，但它会记录所有内容，例如标题、ip ...

我只想要一个简单的列表

http://example/
http://example/toto.html
http://example/sub/tata.html

我该怎么做？

我的wget:

wget http://example.com/ -r -v -S -R js,css,png,gif,jpg,pdf -o log.txt

Answer 1

你可以试试这样的:

wget http://example.com/ -r -nv -S -R js,css,png,gif,jpg,pdf 2>&1 | perl -ne 's|^.*URL:(https?://.*?) .*|\1|; print "$1\n"'

请注意我使用 -nv(简洁)而不是 -v。我还将输出从 stderr 重定向到 stdout，因此它可以由 Perl 在管道中处理。断开的链接在 wget 输出中具有不同的格式，因此您只会获得成功下载的链接(这正是您所要求的)。