http - 比较搜索机器人的 URI？

Question

对于搜索机器人，我正在设计:
* 比较 URI 和
* 判断哪些URI是真正的同一个页面

处理重定向和别名:
案例 1:重定向
案例 2:别名www
案例 3:URL 参数，例如sukshma.net/node#parameter

我有两种方法可以遵循，一种方法是显式检查重定向以捕获案例 #1。另一种方法是“硬编码”别名，例如 www，适用于案例 #2。第二种方法(硬编码)别名很脆弱。 HTTP 的 URL 规范没有提到使用 www 作为别名 (RFC 2616)

我还打算使用 Canonical Meta-tag (HTTP/HTML)，但如果我理解正确的话——我不能在所有情况下都依赖该标签。

请分享您自己的经验。您知道用于检测搜索机器人中重复项的引用白皮书实现吗？

Answer 1

构建您自己的网络爬虫是一项 lot of work .考虑检查一些已经可用的开源蜘蛛，比如 JSpider , OpenWebSpider或 many others .