python - 使用scrapy按扩展类型保存网页上的文件

Question

我是 Python 的新手，我正在尝试使用 scrapy 下载并保存此网站中的 pdf 文件: http://www.legco.gov.hk/general/chinese/counmtg/yr04-08/mtg_0708.htm#hansard

以下是我的代码:

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector


class legco(BaseSpider):
  name = "legco"
  allowed_domains = ["http://www.legco.gov.hk/"]
  start_urls = ["http://www.legco.gov.hk/general/chinese/counmtg/yr04-08/mtg_0708.htm#hansard"]
  rules =(
    Rule(SgmlLinkExtractor(allow=r"\.pdf"), callback="save_pdf")
          )

def parse_listing(self, response):
    hxs = HtmlXPathSelector(response)
    pdf_urls=hxs.select("a/@href").extract()
    for url in pdf_urls:
        yield Request(url, callback=self.save_pdf)

def save_pdf(self, response):
    path = self.get_path(response.url)
    with open(path, "wb") as f:
        f.write(response.body)

基本上，我试图将搜索限制为仅包含“.pdf”的链接，然后按“a/@hfref”进行选择。

从输出中，我看到这个错误:

2015-03-09 11:00:22-0700 [legco] ERROR: Spider error processing http://www.legco.gov.hk/general/chinese/counmtg/yr04-08/mtg_0708.htm#hansard>

谁能告诉我如何修复我的代码？非常感谢!

Answer 1

首先，您需要使用 CrawlSpider 如果你想要 rules上类。此外，rules应该定义为一个可迭代对象，通常它是一个元组(缺少一个逗号)。

无论如何，我不会采用这种方法，而是使用普通的 BaseSpider , 遍历链接并检查 href以 .pdf 结尾，然后，在回调中，将 pdf 保存到文件中:

import urlparse

from scrapy.http import Request
from scrapy.spider import BaseSpider


class legco(BaseSpider):
    name = "legco"

    allowed_domains = ["www.legco.gov.hk"]
    start_urls = ["http://www.legco.gov.hk/general/chinese/counmtg/yr04-08/mtg_0708.htm#hansard"]

    def parse(self, response):
        base_url = 'http://www.legco.gov.hk/general/chinese/counmtg/yr04-08/'
        for a in response.xpath('//a[@href]/@href'):
            link = a.extract()
            if link.endswith('.pdf'):
                link = urlparse.urljoin(base_url, link)
                yield Request(link, callback=self.save_pdf)

    def save_pdf(self, response):
        path = response.url.split('/')[-1]
        with open(path, 'wb') as f:
            f.write(response.body)

(为我工作)