python - 用 python 抓取网页

Question

我对抓取网络完全陌生，但我真的很想用 python 来学习它。我对 python 有基本的了解。

我无法理解抓取网页的代码，因为我找不到有关该代码使用的模块的良好文档。

该代码删除了 this 的一些电影数据网页

在评论“模式选择遵循 CSS 规则”后我陷入困境。

我想了解该代码背后的逻辑或一个好的文档来理解该模块。之前有我需要学习的主题吗？

代码如下:

import requests
from pattern import web
from BeautifulSoup import BeautifulSoup

url = 'http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012'
r = requests.get(url)
print r.url

url = 'http://www.imdb.com/search/title'
params = dict(sort='num_votes,desc', start=1, title_type='feature', year='1950,2012')
r = requests.get(url, params=params)
print r.url  # notice it constructs the full url for you

#selection in pattern follows the rules of CSS

dom = web.Element(r.text)
for movie in dom.by_tag('td.title'):    
    title = movie.by_tag('a')[0].content
    genres = movie.by_tag('span.genre')[0].by_tag('a')
    genres = [g.content for g in genres]
    runtime = movie.by_tag('span.runtime')[0].content
    rating = movie.by_tag('span.value')[0].content
    print title, genres, runtime, rating

Answer 1

这是 BeautifulSoup 的文档，这是一个 HTML 和 XML 解析器。

评论

selection in pattern follows the rules of CSS

表示字符串，如 'td.title'和'span.runtime'是 CSS 选择器，可帮助查找您要查找的数据，其中 td.title搜索 <TD>具有属性 class="title" 的元素.

该代码循环访问网页正文中的 HTML 元素，并通过 CSS 选择器提取标题、流派、运行时间和评级。