python - 在 Craigslist 上检测相似的帖子或广告

Question

我想在 Craigslist 上搜索某个地区的公寓，将租金、位置等关键数据存储在数据库中(可能是 sqlite——我还没有决定)。我是 Python 的新手，但发现使用 requests 和 BeautifulSoup 进行抓取非常容易，例如

#!/usr/bin/python

from bs4 import BeautifulSoup
import requests

r = requests.get("http://sandiego.craigslist.org/apa/")
data = r.text

soup = BeautifulSoup(data)

for link in soup.find_all('a'):
    print(link.get('href'))

哪些输出

https://post.craigslist.org/c/sdo?lang=en
https://accounts.craigslist.org
#
//www.craigslist.org/about/sites
/
/hhh/
/apa/
/csd/apa/
/nsd/apa/
/esd/apa/
/ssd/apa/
#list
#pic
#grid
#map
/apa/index100.html
/search/apa/?sort=priceasc
/search/apa/?sort=pricedsc
/csd/apa/4481946343.html
/csd/apa/4481946343.html
/csd/apa/4481860479.html
/csd/apa/4481860479.html
/ssd/apa/4481935551.html
/ssd/apa/4481935551.html
/csd/apa/4437743340.html
/csd/apa/4437743340.html
...

张贴者通常会重新发布他们的广告，通常是“合法”(例如至少已经过去一周)，但有时会对广告进行细微修改。我希望能够利用我的爬虫看到的某种广告缓存来标记此类广告。 我应该缓存什么以检测相似的帖子？

我知道有不止一种方法可以做到这一点，但我想知道 Python 社区是否有自己的“Python 方式”来解决问题。例如，也许已经有一个模块可以执行此类操作(尽管如此，使用 HTML 页面)。

如果没有回应，我的计划是获取每个广告并存储 (1) 全文和 (2) 每个图像的 MD5 哈希值，将每条数据与帖子 ID 相关联(例如 4481946343) 的广告，然后设计一些启发式来判断相似性，例如“至少有一个图像哈希匹配，或者，在具有 5 个或更多字母的单词之间有 95% 的匹配。” 但尤其是在创建自己的解决方案时，我感到不舒服；我认为一定有更好的方法，甚至可能是规范。

^{顺便说一句，我读到过有关第三方 API(如 3TAPS)的信息，但我还读到 CL 已针对此类服务提起诉讼(并胜诉)；此外，我的项目非常简单，因此我更喜欢没有此类依赖项的透明度和编码。}

Answer 1

我认为使用散列不是一个好主意，因为像 MD5 这样的散列函数旨在尽可能统一地覆盖密码域，因此散列值之间不会有相似性的概念，即使它只是一个位造成差异.有exceptions , 然而。

你可能想看看一些简单的文本分类方法。最简单的事情就是建立一个 bag-of-words than 将为每个广告文本生成一个数字矢量表示。然后您可以使用 k-nearest neighbors 计算相似度, cosine similarity或机器学习文献必须为您提供的任何内容。