python - 响应与起始网址不同

Question

我正在 scrapy shell 中练习 xpath。我工作的网页是

http://bxt.harbin.gov.cn/more.php?nameid=1&frameid=1&colorid=1

我想抓取表中的数据。但在我输入之后

scrapy shell http://bxt.harbin.gov.cn/more.php?nameid=1&frameid=1&colorid=1

在 Windows cmd 中，我发现“可用的 Scrapy 对象”下有

[s]   response   <200 http://bxt.harbin.gov.cn/more.php?nameid=0>

响应 url 与我想要处理的 url 不同。错误的网址没有我想要提取的数据。知道为什么会这样吗？谢谢!

Answer 1

所需的表格位于 iframe 内 - 转到加载 iframe 的 URL:

$ scrapy shell http://bxt.harbin.gov.cn/hrb_bzbxt/list_hf.php
In [1]: for row in response.xpath("//table[3]//tr[position() > 1]"):
    print row.xpath(".//td[1]/text()").extract()[0]
   ...:  
551626
551617
551616
551614
551612
551611
...
551521

在上面的演示中，打印每个表格行的第一个单元格的内容。