gpt4 book ai didi

recursion - 使用 wget 从网站下载特定类型的所有文件 在起始 url 中停止

转载 作者:行者123 更新时间:2023-12-01 19:15:48 25 4
gpt4 key购买 nike

以下内容无效。

wget -r -A .pdf home_page_url

它停止并显示以下消息:

....
Removing site.com/index.html.tmp since it should be rejected.
FINISHED

我不知道为什么它只停在起始网址,不要进入其中的链接来搜索给定的文件类型。

递归下载网站中所有 pdf 文件的任何其他方法。 ?

最佳答案

它可能基于 robots.txt。尝试添加 -e robots=off

其他可能的问题是基于 cookie 的身份验证或 wget 的代理拒绝。 See these examples.

编辑:根据 sunsite.univie.ac.at,“.pdf”中的点是错误的

关于recursion - 使用 wget 从网站下载特定类型的所有文件 在起始 url 中停止,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18274586/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com