python - Python 中的内容可见检查

Question

大家好!假设我有一些使用此脚本获得的页面:

page = urllib2.urlopen(url).read()

在抓取网页时，如何高效(快速)的检查该内容是否已经被抓取过？我的算法是这样的:

    seenContents = set()
then check if crawled content is in set or not

但我不知道要在那个集合上存储什么，散列值等等？你能推荐一些东西吗？

Answer 1

内容的MD5怎么样？

import md5

contest = "some data"
m = md5.new(contents)
m.digest()