python - Scrapy无法通过ID选择

Question

我正在尝试为学校项目抓取数据，但由于某种原因，我无法弄清楚如何从此页面的表格中获取数据。我正在 scrapy shell 中进行测试，但没有返回任何数据。这就是我正在尝试的

scrapy shell https://www.psacard.com/pop/baseball-cards/1911/turkey-red-cabinets-t3-t9/51453

table = response.xpath('//*[@id="DataTables_Table_0"]/table/tbody')

这将返回[]

我也尝试过整个表类

table = response.xpath('//*[@class="clear interior-result-table pop-grid items psa table-striped dataTable no-footer dtr-inline"]')

并获得相同的[]响应

我被难住了。有什么想法吗？

Answer 1

您需要的所有数据都在另一个请求中。例如，您可以在 Chrome 的开发人员工具中找到它。检查https://www.psacard.com/Pop/GetItemTable?headingID=51453&categoryID=20003&isPSADNA=false&pf=0&_=1555080293549。即使是对此链接的常见 GET 请求也会为您提供表格行。