python - 使用Scrapy爬取隐藏数据

Question

我刚刚开始爬行。我正在尝试从网站http://www.indiabix.com/verbal-ability/spotting-errors/抓取问题和答案通过使用 Scrapy 框架和 Python 2.7 下载内容。我注意到，如果您查看其源代码，您会发现每个问题的答案都应该位于 b 标记中，但事实并非如此:

<div class="div-spacer">
   <p><span class="ib-green"><b>Answer:</b></span> Option <b class="jq-hdnakqb"></b></p> 
   <p><span class="ib-green"><b>Explanation:</b></span></p> 
   <p> No answer description available for this question. <b><a href="discussion-399">Let us discuss</a></b>. </p>

如果我们检查网页上的元素，我们可以看到正确的答案作为标签之间的文本:答案:每个问题的选项 A 或 B 等，但 HTML 源代码却没有。

为了获取 b 标记中的文本，我使用 xpath 尝试了大约 15 个查询。我在下面的代码中将最可能的 4-5 个查询写为注释。

import scrapy
import urllib
import json
from errors1.items import Errors1Item

class Errors1Spider(scrapy.Spider) :
    name = "errors1"
    start_urls =  ["http://www.indiabix.com/verbal-ability/spotting-errors/"]

    def parse(self, response) :
        i = 0
        y = 0
        j = json.loads(json.dumps(response.xpath('//td[contains(@id, "tdOption")]/text()').extract()))
        x = json.loads(json.dumps(response.xpath('//div[@class="div-spacer"]/p[3]/text()').extract()))

        #to get correct answer
        #response.xpath('//div[@class = "div-spacer"]/p/b/text()').extract()
        #response.xpath('//div[@class = "div-spacer"]/p[1]/b/text()').extract()
        #response.xpath('//div[@class = "div-spacer"]/p//text()').extract()
        #response.xpath('//b[@class = "jq-hdnakqb"]/text()').extract()
        #response.xpath('string(//div[@class = "div-spacer"]/p/b/text())').extract()

        while i<len(j) and y<len(x) :
            item = Errors1Item()
            item['optionA'] = j[i]
            i+=1 
            item['optionB'] = j[i]
            i+=1 
            item['optionC'] = j[i]
            i+=1 
            item['optionD'] = j[i]
            i+=1 
            item['explanation'] = x[y]
            y+=1
            yield item

有人可以帮我从该网页获取答案内容吗？谢谢

Answer 1

据我了解，设置正确的选项值涉及 JavaScript 逻辑。

帮助我解决这个问题的是scrapyjs middleware ，它使用 Splash 浏览器即服务。跳过安装和配置，这是我执行的蜘蛛:

# -*- coding: utf-8 -*-
import scrapy


class IndiaBixSpider(scrapy.Spider):
    name = "indiabix"
    allowed_domain = ["www.indiabix.com"]
    start_urls = ["http://www.indiabix.com/verbal-ability/spotting-errors/"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={
                'splash': {
                    'endpoint': 'render.html',
                    'args': {'wait': 0.5}
                }
            })

    def parse(self, response):
        for question in response.css("div.bix-div-container"):
            answer = question.xpath(".//input[starts-with(@id, 'hdnAnswer')]/@value").extract()
            print answer

这是我在控制台上得到的内容(正确答案):

[u'A']
[u'C']
[u'A']
[u'C']
[u'C']
[u'C']
[u'B']
[u'A']
[u'D']
[u'C']
[u'B']
[u'B']
[u'A']
[u'B']
[u'B']

另请参阅:

• https://stackoverflow.com/a/30378765/771848