seo - 禁用对子域的抓取

Question

我想禁用对我的子域的抓取。

例如:我的主域是 maindomain.com
subdomain_one.com(附加域)
subdomain_two.com(附加域)

所以我想禁用对 subdomain_one.maildomain.com 的抓取。

我在 robot.txt 中使用了这个:

   User-agent: *
   Disallow: /subdomain_one/
   Disallow: /subdomain_two/

Answer 1

该文件必须名为 robots.txt，而不是 robot.txt。

如果您想禁止所有机器人抓取您的子域，您必须将 robots.txt 文件放在该子域的文档根目录中，其内容如下:

User-agent: *
Disallow: /

每个主机都需要自己的 robots.txt。您不能在 robots.txt 中指定子域，只能指定 beginnings of URL paths .

因此，如果您想阻止 http://sub.example.com/ 上的所有文件，robots.txt 必须可以从 http://sub.example.com 访问/robots.txt.

它doesn’t matter您的网站在服务器端的组织方式，只有哪些内容可以公开访问才重要。