python - 从html页面获取相关链接

Question

我只想从 html 页面中提取相对 url；有人建议这样做:

find_re = re.compile(r'\bhref\s*=\s*("[^"]*"|\'[^\']*\'|[^"\'<>=\s]+)', re.IGNORECASE)

但它返回:

1/页面中的所有绝对和相对 URL。

2/url 可以用"" 或'' 随机引用。

Answer 1

使用the tool for the job : HTML 解析器，例如 BeautifulSoup .

您可以 pass a function作为 find_all() 的属性值并检查href是否以http开头:

from bs4 import BeautifulSoup

data = """
<div>
<a href="http://google.com">test1</a>
<a href="test2">test2</a>
<a href="http://amazon.com">test3</a>
<a href="here/we/go">test4</a>
</div>
"""
soup = BeautifulSoup(data)
print soup.find_all('a', href=lambda x: not x.startswith('http'))

或者，使用 urlparse和 checking for network location part :

def is_relative(url):
    return not bool(urlparse.urlparse(url).netloc)

print soup.find_all('a', href=is_relative)

两种解决方案都打印:

[<a href="test2">test2</a>, 
 <a href="here/we/go">test4</a>]