python - 使用scrapy解析同一div下的网站

Question

我需要使用scrapy解析一个网站。html页面模式如下

div class="nameinfo"     div class="namesub"           span class="namesub">/span>           span class="info">data of type 1 /span>     /div     div class="namesub">          span class="namesub">/span>          span class="info">data of type 2 /span>    /div>
     div class="namesub">          span class="namesub">/span>          span class="info">data of type 3 /span>>     /div>/div

我有上面标记的三种不同类型的数据。知道如何获得所需的数据。它们全部位于 div 内的 span 元素中，类属性为“namesub”。提前致谢:)

Answer 1

这是您应该放入蜘蛛内部的内容:

hxs = HtmlXPathSelector(response)

namesubs = hxs.select("//div[@class='namesub']")
for namesub in namesubs:
    item = MyItem()
    item["info"] = namesub.select('.//span[@class="info"]/text()').extract()[0]

    yield item

此代码假设您已使用 info 字段定义了 MyItem 项目类。

希望有帮助。