seo - 可以防止搜索引擎蜘蛛无限爬取搜索结果中的分页链接吗？

Question

我们的 SEO 团队希望向蜘蛛程序开放我们的主要动态搜索结果页面，并从元标记中删除“nofollow”。蜘蛛目前可以通过允许 robots.txt 中的路径访问它，但在元标记中使用“nofollow”子句可防止蜘蛛超越第一页。

<meta name="robots" content="index,nofollow">

我担心，如果我们删除“nofollow”，对我们的搜索系统的影响将是灾难性的，因为蜘蛛将开始抓取结果集中的所有页面。我将不胜感激关于以下方面的建议:

1) 有没有办法从元标记中删除“nofollow”，同时防止蜘蛛只跟踪页面上的某些链接？我读过关于 rel="nofollow"的不同意见，这是一个可行的选择吗？

<a rel="nofollow" href="http://www.mysite.com/paginglink" >Next Page</a>

2) 有没有办法控制蜘蛛会走多远的“深度”？如果他们打开了几页，然后就停止了，那就不会太糟糕了。

3) 我们的搜索结果页面有标准的下一个/上一个链接，这在理论上会导致蜘蛛递归无限地访问页面，这对 SEO 有什么影响？

我知道不同的爬虫行为不同，但主要关注大玩家，如谷歌、雅虎、MSN。

注意我们的搜索结果页面和分页链接对机器人不友好，因为它们没有被重写并且有一个 ?name=value 查询字符串，但从我看到的蜘蛛程序来看当他们看到“？”时不再只是中止因为结果页面正在以良好的页面排名编入索引。

Answer 1

老实说，您对 nofollow 的看法是错误的。搜索蜘蛛很可能已经在搜索 nofollow 页面，尤其是 Google、Yahoo 和 MSN，因为它们仍然必须访问这些页面以查看它们是否有 noindex。

真正的问题是 nofollow 实际上并不意味着不关注，它只是意味着不要将我的声誉传递给这个链接。因此，除非您积极阻止机器人(听起来不像您)，否则更改链接上的 ROBOTS 元标记和机器人命令不会影响性能，因为它们已经在访问您的站点。要确认这一点，只需查看您的 HTTP 服务器日志。

所以我的投票是您不会看到取消机器人限制有任何问题。