algorithm - 如何解决 Web 机器人应用程序中转发到同一页面的不同 URL

Question

我有一个关于网络机器人应用程序的问题。

网址:http://www.domain.com/path?id=1

网址 b:http://www.domain.com/path?id=1&sessionid=XXXXXX

有两个 url 并转发到同一个页面。机器人应用程序下载该页面两次。

在我的机器人应用程序中，两个 URL 转换为 md5 值以检查是否被访问。但是 url 字符串改变了，所以 md5 值也改变了。访问过的缓存不能命中。

有什么更好的解决办法吗？

Answer 1

如果我是你，我会使用一种算法来计算内容的相似度，如果它们与配置的阈值相似，则将它们视为同一文档。检查绝对相等性(如 MD5SUM)将不起作用，因为动态内容(如时间戳)会破坏此类方案。

使用文档相似性是网络抓取中的一种常用方法，可以防止机器人一遍又一遍地下载基本相同的内容。

一个非常简单的相似度算法，如Levenshtein Distance可以完成这项工作，但类似于 cosine similarity会更适合这个。