gpt4 book ai didi

directory - 如何查找网站上的所有链接/页面

转载 作者:行者123 更新时间:2023-12-03 05:04:34 25 4
gpt4 key购买 nike

是否可以找到任何给定网站上的所有页面和链接?我想输入一个 URL 并生成该网站所有链接的目录树?

我看过 HTTrack,但它会下载整个网站,我只需要目录树。

最佳答案

查看linkchecker —它将抓取网站(同时遵守robots.txt)并生成报告。从那里,您可以编写用于创建目录树的解决方案。

关于directory - 如何查找网站上的所有链接/页面,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/1439326/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com