.htaccess - 301 重定向到除 robots.txt 之外的所有内容

Question

我们已将网站移至新域，并希望从搜索引擎中删除旧网站的所有页面。这是相同的站点，相同的内容，只是一个新域，因此搜索引擎会因为重复的内容(可能)而花费时间。我们已将 .htaccess 301 从旧站点添加到新站点:

redirect 301 / http://new-domain.com/

现在，为了从搜索引擎中删除我们的旧站点，我们将旧站点上的 robots.txt 更改为:

User-agent: *
Disallow: /

问题是，由于 .htaccess 301 重定向，搜索引擎正在从 new-domain.com 获取 robots.txt。

如何限制 robots.txt 的 301 重定向？

Answer 1

删除 Redirect 指令并尝试此 mod_rewrite 规则:

RewriteEngine on
RewriteRule !^robots\.txt$ http://other.example.com%{REQUEST_URI} [L,R=301]

这将重定向除 /robots.txt 之外的任何请求。