python - 从网站抓取表格时遇到问题？

Question

我正在从该网站提取表格。虽然我匹配了 xpath 并发现了表的字段，但我无法从网站中提取任何内容，这就是我的蜘蛛的样子:

# -*- coding: utf-8 -*-
import scrapy
from table.items import TableItem


class Table(scrapy.Spider):
    name = "table1"
    start_urls = (
        'wesite.com',
    )
    #//div[4]//div[1]//div[1]//table[1]
    #
    def parse(self, response):
        sites = response.xpath('//*[@id="tabs-1"]/table//tr')[1:-2]
        print('\n***********************************\n',sites)

        for site in sites:
            item = TableItem()
            item['col1'] = site.xpath('td[1]/text()').extract()
            item['col2'] = site.xpath('td[2]/text()').extract()
            yield item
            print('\n**********\n',item)

我想我的主要问题是这一行:

sites = response.xpath('//*[@id="tabs-1"]/table[1]/tr')

我实际上可以检索内容。然而，它有一个非常大的重复错误格式(它是畸形的)。知道如何获得 table 吗？

Answer 1

有时浏览器会在渲染时添加自己的 DOM 元素。对于您给定的网站，正确的 xpath 选择器是 response.xpath('//*[@id="tabs-1"]/table//tr') 来查找表格行。

已编辑:添加了从表中获取正确元素的代码

# -*- coding: utf-8 -*-
import scrapy
from table.items import TableItem


class Table(scrapy.Spider):
    name = "table1"
    start_urls = (
        'http://www.accessdata.fda.gov/scripts/drugshortages/default.cfm#tabs-1',
    )

    def parse(self, response):
        sites = response.xpath('//*[@id="tabs-1"]/table//tr')

        for site in sites:
            item = TableItem()
            item['col1'] = site.xpath('td/a/text()').extract_first()
            col2 = site.xpath('td/em/strong/text()')
            if col2:
                item['col2'] = site.xpath('td/em/strong/text()')[0].extract().strip()
            else:
                item['col2'] = 'Not Available'
            yield item