python - Scrapy Linkextractor 复制(？)

Question

我的爬虫实现如下。

它正在运行，它将通过受 link extractor 监管的站点。

基本上我要做的是从页面的不同位置提取信息:

- 类“新闻”下的 href 和 text()(如果存在)

- 类“think block”下的图像 url(如果存在)

我的 scrapy 有三个问题:

1) 复制链接提取器

它似乎会复制已处理的页面。 (我检查了导出文件，发现相同的 ~.img 出现了很多次，但几乎不可能)

事实上，对于网站中的每个页面，底部都有超链接，方便用户指向他们感兴趣的主题，而我的目标是从主题页面中提取信息(这里列出了几个段落的同一主题下的标题)和段落页面中的图像(您可以通过单击主题页面中的段落标题来到达该段落的页面)。

我怀疑在这种情况下链接提取器会再次循环相同的页面。

(也许用 depth_limit 解决？)

2) 改进 parse_item

我认为 parse_item 的效率很低。我该如何改进它？我需要从网络中的不同位置提取信息(确保它仅在存在时提取)。此外，parse_item 似乎只能推进 HkejImage 而不是 HkejItem(我再次检查了输出文件)。我应该如何解决这个问题？

3) 我需要蜘蛛能够阅读中文。

我正在香港抓取一个网站，能够阅读中文是必不可少的。

网站:

http://www1.hkej.com/dailynews/headline/article/1105148/IMF%E5%82%B3%E4%BF%83%E4%B8%AD%E5%9C%8B%E9%80%80%E5%87%BA%E6%95%91%E5%B8%82

只要属于‘dailynews’，就是我要的。

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.selector import Selector
from scrapy.http import Request, FormRequest
from scrapy.contrib.linkextractors import LinkExtractor
import items


class EconjournalSpider(CrawlSpider):
    name = "econJournal"
    allowed_domains = ["hkej.com"]
    login_page = 'http://www.hkej.com/template/registration/jsp/login.jsp'
    start_urls =  'http://www.hkej.com/dailynews'

    rules=(Rule(LinkExtractor(allow=('dailynews', ),unique=True), callback='parse_item', follow =True),
           )


    def start_requests(self):
         yield Request(
         url=self.login_page,
         callback=self.login,
         dont_filter=True
         )
# name column
    def login(self, response):
        return FormRequest.from_response(response,
                    formdata={'name': 'users', 'password': 'my password'},
                    callback=self.check_login_response)

    def check_login_response(self, response):
        """Check the response returned by a login request to see if we are
        successfully logged in.
        """
        if "username" in response.body:       
            self.log("\n\n\nSuccessfully logged in. Let's start crawling!\n\n\n")
            return Request(url=self.start_urls)
        else:
            self.log("\n\n\nYou are not logged in.\n\n\n")
            # Something went wrong, we couldn't log in, so nothing happens

    def parse_item(self, response):
        hxs = Selector(response)
        news=hxs.xpath("//div[@class='news']")
        images=hxs.xpath('//p')

        for image in images:
            allimages=items.HKejImage()
            allimages['image'] = image.xpath('a/img[not(@data-original)]/@src').extract()
            yield allimages

        for new in news:
            allnews = items.HKejItem()
            allnews['news_title']=new.xpath('h2/@text()').extract()
            allnews['news_url'] = new.xpath('h2/@href').extract()
            yield allnews

非常感谢，如果有任何帮助，我将不胜感激!

Answer 1

首先，要设置设置，请在 settings.py 文件中进行设置，或者您可以在蜘蛛上指定 custom_settings 参数，例如:

custom_settings = {
    'DEPTH_LIMIT': 3,
}

然后，您必须确保蜘蛛到达 parse_item 方法(我认为它没有，还没有测试过)。而且您不能在规则上指定 callback 和 follow 参数，因为它们不能一起工作。

首先删除规则中的follow，或添加另一个规则，以检查要跟踪哪些链接，以及哪些链接作为项目返回。

其次，在您的 parse_item 方法中，您得到的 xpath 不正确，要获取所有图像，也许您可​​以使用类似的方法:

images=hxs.xpath('//img')

然后获取图片url:

allimages['image'] = image.xpath('./@src').extract()

对于新闻，这看起来可行:

allnews['news_title']=new.xpath('.//a/text()').extract()
allnews['news_url'] = new.xpath('.//a/@href').extract()

现在，了解您的问题，这不是 Linkextractor 重复 错误，而只是规则规范不当，还要确保您拥有有效的 xpath，因为您的问题并未表明您需要 xpath 更正。