.htaccess - 排除测试子域被搜索引擎抓取(w/SVN 存储库)

Question

我有:

• 域名.com
• testing.domain.com

我希望搜索引擎抓取domain.com并为其编制索引，但不希望testing.domain.com

测试域和主域共享相同的 SVN 存储库，因此我不确定单独的 robots.txt 文件是否有效...

Answer 1

1) 创建单独的 robots.txt 文件(例如，将其命名为 robots_testing.txt)。

2) 将此规则添加到网站根文件夹中的 .htaccess 中:

RewriteCond %{HTTP_HOST} =testing.example.com
RewriteRule ^robots\.txt$ /robots_testing.txt [L]

如果域名 = testing.example.com，它将把 robots.txt 的任何请求重写(内部重定向)到 robots_testing.txt .

或者，执行相反的操作 - 将除 example.com 之外的所有域的 robots.txt 的所有请求重写为 robots_disabled.txt:

RewriteCond %{HTTP_HOST} !=example.com
RewriteRule ^robots\.txt$ /robots_disabled.txt [L]