meta - 多个机器人元标记

Question

我最近继承了一个代码库并发现了这个 gem :

{% if PAGE_EXTRAS.hide_from_sitemap %}
    <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
    <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
{% endif %}

我不知道它要做什么。您是否有理由在这样的站点中放置多个明显冲突的机器人标签？或者它是否像我不知情的人所看到的那样疯狂？

Answer 1

这对我来说是个错误。我能找到的唯一信息是 Google's Robots meta tag specification :

If competing directives are encountered by our crawlers we will use the most restrictive directive we find.

因此，(至少对于 Google)代码:

<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">

与以下内容完全相同:

<meta name="robots" content="noindex, nofollow">

可以想象这段代码可能是作为某种偷偷摸摸的黑客，旨在通过利用它们解决冲突的方式的差异，将不同的规则应用于不同的爬虫。如果是这样，恕我直言，这是一个糟糕的主意。当已经有一个合法的机制来做同样的事情时，就不需要凌乱的脆弱的黑客:

<meta name="googlebot" content="noindex, follow">
<meta name="bingbot" content="index, nofollow">