python - Scrapy Spider 不返回任何信息

Question

我是一名学生，我正在为一个项目收集有关品牌的信息。我找到了这个名为 Kit 的网站:Kit Page我想搜索品牌。它有将近 500 页，我用 Python 3 编写了一个 Scrapy Spider，遍历每个页面并将列表复制到字典，但我无法弄清楚 xpath 或 css 来实际获取列表信息。这是我的 items.py:

import scrapy

class KitcreatorwebscraperItem(scrapy.Item):
    creator = scrapy.Field()

这是我的蜘蛛:

import scrapy

class KitCreatorSpider(scrapy.Spider):
    name = "kitCreators"
    pageNumber = 1

    start_urls = [
        'https://kit.com/brands?page=1',
    ]

    while pageNumber <= 478:
        newUrl = "https://kit.com/brands?page=" + str(pageNumber)
        start_urls.append(newUrl)
        pageNumber += 1

    def parse(self, response):
        for li in response.xpath('//div[@class="section group"][0]'):

它运行成功，但我一直无法编写获取所需数据的 xpath。什么路径是必需的，我如何在代码中实现它？

Answer 1

您可以尝试在 Xpath 下提取品牌名称:

//a[@class="brandsView-list-item-link ng-binding"]/text()

附言我建议您不要创建 URL 列表。这似乎是一段多余的代码。相反，您可以使用 for 循环，例如:

for page_number in range(479):
    url = "https://kit.com/brands?page=%s" % page_number
    ...handle current page source...

更新

You can try Selenium + PhantomJS从动态内容中获取所需数据:

from selenium import webdriver

driver = webdriver.PhantomJS()
brands_list = []

for page in range(1, 480):
    driver.get("https://kit.com/brands?page=%s" % page)
    [brands_list.append(brand.text) for brand in driver.find_elements_by_xpath('//a[@class="brandsView-list-item-link ng-binding"]')]

print(brands_list)