html - 如何使用scrapy访问下表的所有特定数据？

Question

我正在尝试访问URL https://www.jefit.com/exercises/1/中以下表格元素的所有数据
我尝试使用scrapy爬行数据。但是无法抓取，并且出现一些错误，我无法抓取所需的所有数据。请帮助我更正代码，以检索表中的“名称”，“图像链接”，“如何进行锻炼”以及所有其他数据。
我正在尝试以下代码：

from scrapy.spider import Spider
from scrapy.selector import Selector
from myproject.items import getExercise

class MySpider(Spider):
   name = "getExercise"
   allowed_domains = ["www.jefit.com"]
   start_urls = ["https://www.jefit.com/exercises/1/" ]

def parse(self, response):

   item = getExercise()
   item['exerciseName']=response.xpath('//table[@class = "JefitMainTable"]/tbody/tr/td[2]/table[2]/thead/tr/th/text()').extract()
   return item

Answer 1

尝试在XPath中用/tbody替换//。

仅在浏览器DOM中检查XPath时，这是一个常见问题，因为浏览器会自动将tbody元素放入表中。

在scrapy shell中尝试XPath表达式通常是一个好主意：

$ scrapy shell https://www.jefit.com/exercises/1/
>>> response.xpath('//table[@class = "JefitMainTable"]/tbody/tr/td[2]/table[2]/thead/tr/th/text()').extract()
[]
>>> response.xpath('//table[@class = "JefitMainTable"]//tr/td[2]/table[2]/thead/tr/th/text()').extract()
[u'Band Cross Over']