tomcat - 如何为前端和后端 Web 服务器实现 robots.txt 文件？

Question

• 前端网络服务器:IIS 7.5
• 后端网络服务器:Tomcat 5.5.28。
• 两者都在同一台机器上。
• IIS 使用 AJP 连接器——isapi 过滤器——将适当的请求传递给 Tomcat。

IIS 使用 robots.txt 文件来防止网络爬虫访问网络文件。它的位置是 inetpub\wwwroot\robots.txt。这是它的内容:

 User-agent: *
 Disallow: /

Tomcat 应用程序位于 inetpub\wwwroot\tomcatapp\ 目录中。换句话说，任何包含 tomcatapp 目录的请求都会从 IIS 转发到 Tomcat。

我是否需要在 Tomcat 上下文(即 tomcatapp)中添加一个额外的 robots.txt 文件，如果需要，我应该把它放在哪里？我问是因为我不知道搜索机器人是否只读取前端 Web 服务器，或者它们也能够读取后端 Web 服务器。

非常感谢您的帮助。

Answer 1

robots.txt 仅在您域的根文件夹 中才有意义。这根本不是安全方面的问题，只是对“友好”搜索引擎的提示，让他们知道您希望他们索引哪些页面。

不要将您的 Tomcats 应用程序放在 wwwroot 文件夹中，因为如果 AJP 映射失败，所有目录和文件都可以访问。将它放在别处并映射到该目录，因此只有 Tomcat 能够访问它。