asp.net - 为 ASP.NET MVC 站点创建 robots.txt

Question

我正在为我的网站创建一个 robots.txt 文件，但查看我的项目结构后，我不确定要禁止什么。

我是否需要禁止标准 .NET MVC 目录和文件，例如/App_Data、/web.config、/Controllers、/Models、/Global.asax？或者那些还没有被编入索引？

像/bin 和/obj 这样的目录呢？

如果我想禁止某个页面，我是禁止/Views/MyPage/Index.cshtml 还是/MyPage？

此外，在 robots.txt 文件中指定站点地图时，我可以使用我的 Web.sitemap 吗，还是需要使用不同的 xml 文件？

Answer 1

“robots.txt”指的是网络爬虫公开看到的路径。

爬虫没有什么特别之处:它只是像用户一样使用 HTTP 从您的网站请求页面。

因此，假设您的 MVC 站点已正确配置，像 /web.config 这样的文件或您提到的路径将不会对外界可见，因为 IIS 和您的应用程序都不会被配置为他们服务。即使指向这些文件，蜘蛛程序也会收到 404 Not Found 并继续。

同样，您的 .cshtml 或 .aspx 内容文件将不会显示这些扩展名。相反，网络爬虫会准确地看到您向用户显示的内容。