seo - 在 robots.txt 中只允许抓取共享主机上的子域而不是子目录？

Question

我刚刚更改了 DNS 设置，因此文件夹 /forum 现在是一个子域而不是子目录。如果我做一个 robots.txt 文件并说:

User-agent: *
Disallow: /forum

这会禁止抓取子目录和子域吗？

我想禁止抓取子目录，但允许抓取子域。 注意:这是在共享主机上，因此可以访问子目录和子域。这就是我遇到这个问题的原因。

那么，我怎样才能只允许抓取子域？

Answer 1

如果你想停止抓取，这是正确的方法。但请注意:如果 URL 已被编入索引，则不会被删除。

我更喜欢的方式是通过元标记将所有页面设置为“noindex/follow”，或者更好的是“canonical tag”将搜索引擎流量发送到子域 url进入你的

在给定的 URL 上，如“http://www.yourdomain.com/directoryname/post-of-the-day”使用

<link rel="canonical" href="http://directoyname.yourdomain.com/post-of-the-day" />

最新的 URL 将是 SERP 中唯一的 URL