c# - .net 从父 URI 获取所有目录

Question

我想从父 URI 获取子目录列表，我该如何读取

例如-

我有父 URI - www.abc.com

这里我想读取它的所有子目录，如

1. www.abc.com/xyz/..
2. www.abc.com/xyz1/..
3. www.abc.com/xyz3/..

我尝试读取如下 URI -

var path = new Uri("www.abc.com");

提前感谢您的帮助。

Answer 1

你不能。 Web 服务器的文件夹结构是私有(private)的。您所能做的就是从公开可用的信息中获取信息。因此，您可以抓取站点及其链接并构建其文件夹结构的图片。您也可以尝试请求 www.abc.com/robots.txt，它用于告诉搜索引擎要索引哪些内容。您可能会幸运地发现 robots.txt 包含很多关于它的子文件夹的信息。例如，查看 bbc.com robots.txt 文件 http://www.bbc.com/robots.txt