python - 如何使用scrapely提取项目列表？

Question

我正在使用 scrapely 从一些 HTML 中提取数据，但我在提取项目列表时遇到困难。

scrapely github project仅描述了一个简单的例子:

from scrapely import Scraper
s = Scraper()

s.train(url, data)
s.scrape(another_url)

这很好，例如，如果您正尝试按照描述提取数据:

Usage (API)

Scrapely has a powerful API, including a template format that can be edited externally, that you can use to build very capable scrapers.

该部分后面是一个最简单的用法的快速示例，您可以在 Python shell 中运行它。

但是，如果您发现类似的东西，我不确定如何提取数据

Ingredientes

- 50 gr de hojas de albahaca
- 4 cucharadas (60 ml) de piñones
- 2 - 4 dientes de ajo
- 120 ml (1/2 vaso) de aceite de oliva virgen extra
- 115 gr de queso parmesano recién rallado
- 25 gr de queso pecorino recién rallado ( o queso de leche de oveja curado)

我知道我不能使用 xpath 或 css 选择器来提取它，但我更感兴趣的是使用可以为类似页面提取数据的解析器。

Answer 1

Scrapely 可以被训练来提取项目列表。诀窍是在训练时将要提取的列表的第一项和最后一项作为 Python 列表传递。这是一个受问题启发的示例:(训练:来自 url1 的 10 项成分列表，测试:来自 url2 的 7 项列表。)

from scrapely import Scraper

s = Scraper()

url1 = 'http://www.sabormediterraneo.com/recetas/postres/leche_frita.htm'
data = {'ingreds': ['medio litro de leche',   # first and last items
  u'canela y az\xfacar para espolvorear']}
s.train(url1, data)

url2 = 'http://www.sabormediterraneo.com/recetas/cordero_horno.htm'
print s.scrape(url2)

这里是输出:

[{u'ingreds': [
  u' 2 piernas o dos paletillas de cordero lechal o recental ',
  u'3 dientes de ajo',
  u'una copita de vino tinto / o / blanco',
  u'una copita de agua',
  u'media copita de aceite de oliva',
  u'or\xe9gano, perejil',
  u'sal, pimienta negra y aceite de oliva']}]

关于问题成分列表 (http://www.sabormediterraneo.com/cocina/salsas6.htm) 的训练并没有直接推广到“recetas”页面。一种解决方案是训练多个爬虫，然后检查哪一个在给定页面上有效。 (在我的快速测试中，在几页上训练一个爬虫并没有给出一个通用的解决方案。)