html - 防止搜索引擎索引页面上不相关内容的方法

Question

我正在寻找防止将页面的某些部分编入索引的方法。具体来说，页面上的评论，因为它们根据用户写的内容对条目进行了很多权衡。这会使页面上的 Google 搜索返回许多不相关的页面。

以下是目前我正在考虑的选项:

1) 使用 JavaScript 加载评论以防止搜索引擎看到它们。

2) 使用用户代理嗅探来简单地不为爬虫输出评论。

3) 使用特定于搜索引擎的标记来隐藏部分页面。不过，这个解决方案充其量看起来很古怪。据称，这样做可以阻止Yahoo!索引特定内容:

<div class="robots-nocontent">
This content will not be indexed!
</div>

这是一种非常丑陋的方式。我读到一个看起来更好的 Google 解决方案，但我相信它只适用于 Google Search Appliance(有人可以证实这一点吗？):

<!--googleoff: all-->
This content will not be indexed!
<!--googleon: all-->

---

有没有人有其他方法可以推荐？上述三种方式中哪一种是最好的方式？就个人而言，我倾向于#2，因为虽然它可能不适用于所有搜索引擎，但它很容易定位最大的搜索引擎。而且它对用户没有副作用，除非他们故意尝试冒充网络爬虫。

Answer 1

我会选择您的 JavaScript 选项。它有两个优点:

1) 机器人看不到它2) 它会加快您的页面加载时间(异步和不显眼地加载评论，例如通过 jQuery)...页面加载时间对您的搜索排名的积极影响被低估了