http - 是否可以在不使用 301 重定向的情况下告诉网络爬虫两个域指向同一个地方？

Question

我有两个指向同一个服务器的域，我想保留它，以便用户可以转到这些 URL 中的任何一个，并且 URL 将保持在浏览器地址栏中输入的形式(“重定向”将是好的，只要浏览器保持原始 url 可见)。但我读到这对 SEO 不利。

有没有什么方法可以告诉搜索引擎两个域指向同一个地方(也许在 robots.txt 中看起来不太可能)。基本上我想要一个仅用于网络爬虫的 301 重定向。

我可以尝试检测 HTTP 请求何时来自爬虫并重定向它们，但我还没有看到执行此操作的标准方法。

Answer 1

您可以在 HTML 头部使用一个链接元素，其 rel 属性为“canonical”，然后将向网络浏览器表明“真实”域是您将 href 属性设置为的任何内容。

例子:

  <link rel="canonical" href="http://www.example.com/your-other-site-with-identical-content">

来源:https://webmasters.googleblog.com/2009/02/specify-your-canonical.html

谷歌长期以来(从 2009 年至今)一直支持这一点这一事实有力地表明这可能是可行的方法。