linux - 没有机器人 robots.txt 位置

Question

与 robots.txt 有点混淆。

假设我想在某个位置的基于 Linux 的 Apache 服务器上的站点上阻止机器人:

var/www/mySite

我会将 robots.txt 放在包含以下内容的目录中(与 index.php 一起):

User-agent: *
Disallow: /

对吗？

这会阻止机器人索引整个服务器还是仅索引 var/www/mySite 中的站点？例如，var/www/myOtherSite 中的站点是否也会阻止机器人？因为我只想为一个网站做这件事。

谢谢!

Answer 1

机器人(行为良好的机器人，即 -- 尊重 robots.txt 完全是自愿的)将使用在您域的根目录中找到的 robots.txt。如果 mySite 由 mysite.com 提供并且 myOtherSite 由 myothersite.com 提供，那么您的 robots.txt 将仅在 mysite.com 上提供，并且按预期工作。

要进行测试，只需前往 http://myothersite.com/robots.txt 并验证您是否收到 404。