python - re.findall 的问题(重复)

Question

我试图获取 4chan 站点的源代码，并获取主题链接。

我的正则表达式有问题(不工作)。来源:

import urllib2, re

req = urllib2.Request('http://boards.4chan.org/wg/')
resp = urllib2.urlopen(req)
html = resp.read()

print re.findall("res/[0-9]+", html)
#print re.findall("^res/[0-9]+$", html)

问题在于:

print re.findall("res/[0-9]+", html)

正在重复。

我不能使用:

print re.findall("^res/[0-9]+$", html)

我已经阅读了 python 文档，但它们没有帮助。

Answer 1

那是因为源中有多个链接副本。

通过将它们放在一个集合中，您可以轻松地使它们独一无二。

>>> print set(re.findall("res/[0-9]+", html))
set(['res/3833795', 'res/3837945', 'res/3835377', 'res/3837941', 'res/3837942',
'res/3837950', 'res/3100203', 'res/3836997', 'res/3837643', 'res/3835174'])

但是如果您要做比这更复杂的事情，我建议您使用可以解析 HTML 的库。 BeautifulSoup或 lxml .