python - 在 Python 中抓取 HTML

Question

我试图从页面源中找到一系列 URL(twitter 链接)，然后将它们放入文本文档的列表中。我遇到的问题是，一旦我 .readlines() urlopen 对象，我总共有 3-4 行，每行由我需要一个接一个收集的几十个 url 组成。这是我尝试纠正此问题的代码片段:

page = html.readlines()
for line in page:
       ind_start = line.find('twitter')
       ind_end = line.find('</a>', ind_start+1)
       while ('twitter' in line[ind_start:ind_end]):
           output.write(line[ind_start:ind_end] + "\n")
           ind_start = line.find('twitter', ind_start)
           ind_end  = line.find('</a>', ind_start + 1)

不幸的是，我无法使用它提取任何网址。有什么建议吗？

Answer 1

您可以使用 lxml 提取链接和一个 xpath表达:

from lxml.html import parse

p = parse('http://domain.tld/path')
for link in p.xpath('.//a/@href'):
    if "twitter" in link:
        print link, "match 'twitter'"

使用 regex在那里，没有更好的方法:解析 HTML 是 2013 年解决的问题。参见 RegEx match open tags except XHTML self-contained tags