- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我收到 TypeError: 'Request' object is not subscriptable 在尝试访问从辅助 Web 请求传回的数据时:
import scrapy
class MyItem(scrapy.Item):
main_url = scrapy.Field()
addr_name = scrapy.Field()
addr = scrapy.Field()
addr_city = scrapy.Field()
class ServiceCanadaSpider(scrapy.Spider):
name = 'servicecan'
start_urls = ['http://www.servicecanada.gc.ca/tbsc-fsco/sc-lst.jsp?prov=AB&lang=eng']
def parse(self, response):
with open('test', 'w') as f:
for title in response.xpath('//li/ul/li/a'):
f.write(title.xpath('text()').extract_first())
#get url for info page
url='http://www.servicecanada.gc.ca' + title.xpath('@href').extract_first()
#parse info page
item = MyItem()
request = scrapy.Request(url, callback=self.parse_info_page)
request.meta['item'] = item
f.write(',' + url)
yield request
f.write(',' + request['addr_name'])
#f.write(',' + request.addr)
#f.write(',' + request.addr_city)
f.write('\n')
def parse_info_page(self, response):
item = response.meta['item']
item['main_url'] = response.url
if len(response.xpath('//td[@id="offInfo"]/text()')) == 3:
item['addr_name']='';
item['addr'] = response.xpath('//td[@id="offInfo"]/text()').extract()[0].replace('\n','')
item['addr_city'] = response.xpath('//td[@id="offInfo"]/text()').extract()[1].replace('\n','')
else:
item['addr_name']=response.xpath('//td[@id="offInfo"]/text()').extract()[0].replace('\n','')
item['addr'] = response.xpath('//td[@id="offInfo"]/text()').extract()[1].replace('\n','')
item['addr_city'] = response.xpath('//td[@id="offInfo"]/text()').extract()[2].replace('\n','')
return [item]
当我产生请求时,我可以在它的 MyItem 类中看到数据...
{'addr': ' 802 Bow Valley Trail',
'addr_city': ' Canmore, Alberta',
'addr_name': ' Canmore Gateway Shops - Building C, Suite 113',
'main_url': 'http://www.servicecanada.gc.ca/tbsc-fsco/sc-dsp.jsp?rc=4865&lang=eng'}
最佳答案
Request
类确实不支持订阅,即[]
操作符的使用。如果您想通过 meta
属性访问您附加到 Request
实例的对象的字段,您必须明确地执行此操作:
request = scrapy.Request(url, callback=self.parse_info_page)
request.meta['item'] = item
f.write(',' + request.meta['item'].addr_name)
关于python - 类型错误 : 'Request' object is not subscriptable,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48732571/
这两个句子有什么区别: res = requests.request('POST', url) 和 res = requests.request.post(url) 最佳答案 它们几乎是一样的:htt
我正在使用“请求对话框”来创建 Facebook 请求。为了让用户收到请求,我需要使用图形 API 访问 Request 对象。我已经尝试了大多数看起来合适的权限设置(read_requests 和
urllib.request和http.client都是python标准库。前者相关方法的文档是 here后者,here (我使用的是3.5) 有谁知道为什么标准库中有两种方法看起来做同样的事情,或者
我是 Twisted 的新手,我不明白为什么在运行我的脚本时会出现此错误。\ 基本上,该脚本由 2 个页面组成,第一个页面是一个 HTML 表单,它调用自身执行一个阻塞方法并显示结果。当请求同时发送到
我有一个客户端 JS 文件,其中包含: agent = require('superagent'); request = agent.get(url); 然后我有类似的东西 request.get(u
提前输入功能可以正常工作。但问题是,提前输入功能会在每个数据请求上发出 JSON 请求,而实际上只应针对一个特定请求发生。 我有以下 Controller : #controllers/agencie
我正在使用 Rust 开发一个小型 API,我不确定如何在两个地方访问来自 Iron 的 Request。 Authentication 中间件为 token 读取一次Request,如果路径被允许(
问题起因 今天一位网友向我们反馈,用Chrome打开某些博客文章时,会出现"Bad Request - Request Too Long. HTTP Error 400. The siz
当我从 LinkedIn 向 https://api.linkedin.com/uas/oauth/requestToken 请求请求 token 时,出现以下错误: oauth_problem=si
我只是想使用 okhttp 下载一些字节数据,但在我完成代码之前,我遇到了一个问题,android studio 报告了一个错误,说“Request(okhttp3.Request.Builder)
我正在使用 Windows 10。我想在我的系统上使用 Angular 4。当我运行 node -v 和 npm -v 时,它会显示版本。但是当我执行语句 npm install -g @angula
我正在尝试让一个简单的 Iron 示例起作用: extern crate iron; extern crate router; use iron::prelude::*; use iron::stat
我正在尝试使用嵌套字典“动态”创建一个数据输入表单(目前,我使用具有 3 个值的数组,但将来数组中的元素数量可能会有所不同)。这似乎工作正常,并且表单“正确”渲染了 html 模板(正确 = 我看到了
从 ASP.NET 中的代码隐藏访问表单或查询字符串值时,使用的优缺点是什么,例如: // short way string p = Request["param"]; 代替: // long way
我遇到了一个问题,我想知道更好的解决方法。 有五个 api 请求并行运行,第二个请求依赖于第四个请求的响应,但所有 5 个请求都已在运行。什么是更好的方法? 需要建议。提前致谢。 最佳答案 调度地面工
我收到以下错误:TypeError:序列项 0:预期字节、字节数组或具有缓冲区接口(interface)的对象、找到元组 我检查了Python文档,urllib.request.Request的参数似
当我向函数添加超时参数时,我的代码总是进入异常并打印出“我失败了”。当我删除超时参数时,代码会正常工作,并进入 try 子句。关于超时参数如何在 urllib.request 函数中工作的任何信息?
我使用 cURL 向服务器发送请求这是链接:Server Side script for cURL request我用 file_get_contents('php://input'); 读取发送的数
请大家帮帮我我正在尝试使用 NUTCH 抓取网站,但它给我错误“java.io.IOException: Job failed!” 我正在运行此命令“bin/nutch solrindex http:
在我的 AngularJS 应用程序中,我无法弄清楚如何对 then promise 的执行更改 location.url 进行单元测试。我有一个函数,登录 ,调用服务,身份验证服务 .它返回 pro
我是一名优秀的程序员,十分优秀!