php - 从搜索引擎中隐藏 cname

Question

所以我为我的域创建了一个 CNAME。例如:

mycname.domain.com

但所有带有 CNAME 的 URL 都会显示在搜索引擎中。如何防止这些 URL 被抓取？我想我必须编辑 robots.txt 文件，但不能 100% 确定。

Answer 1

这有点棘手，因为它是一个没有物理根文件夹的 CNAME，您不能真正使用 robots.txt。所以你必须像这样使用 .htaccess 做一些工作:

RewriteCond %{HTTP_HOST} ^mycname.domain.com$ [NC]
RewriteRule ^robots\.txt$ /robots-mycname.txt [NC,L]

以上规则会将 CNAME 机器人重定向到它的文件，这样它就不会与您当前的域机器人文件冲突。

现在您创建一个名为 robots-mycname.txt 的文件，其中包含以下内容:

User-agent: *
Disallow:

这意味着禁止任何机器人，不幸的是，并非所有机器人都尊重 robots.txt 文件，因此请记住这一点。

---

另一种方法是像这样简单地拒绝对 CNAME 的请求:

RewriteCond %{HTTP_HOST} ^mycname.domain.com$ [NC]
RewriteRule ^ - [F]

您还可以通过像这样设置特定的用户代理来进一步改进这一点:

RewriteCond %{HTTP_HOST} ^mycname.domain.com$ [NC]
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteRule ^ - [F]

You can also make a list like this...

---

The simplest way to resolve this issue is to add to your pages the canonical tag, you can read more about it here...

这里是在这种情况下您要添加到页面的示例:

<link rel="canonical" href="http://main-domain.com/blog/some-page" />

但是，如果您使用的是 WordPress、Drupal 和其他 CMS，则需要对所有受影响的页面执行此操作，可以使用插件自动为您执行此操作。