- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我使用 Scrapy 编写了一个网络爬虫,抓取了一些数据来补充我目前掌握的有关几家公司的信息。在打印记录之前,我想将它们与我的旧记录进行匹配。因此,我创建了一个字典,以公司名称作为键,值是一些相关数据。我遇到的问题是编码,Test_of_company.csv 以 UTF-8 编码(我对其进行编码并在 Notepad++ 中将其转换为 UTF-8)。我不断收到异常。UnicodeDecodeError: 'utf8' 编解码器无法解码位置 67 中的字节 0xe4: 无效的连续字节。由于accumulator包含UTF-8编码,而check具有不同的编码,因此我无法匹配记录。总的来说,我认为 python-2.7 中的编码很麻烦。
scrapy项目中的管道文件
class DomainPipeline(object):
accumulator = collections.defaultdict(list)
check=collections.defaultdict(list)
def process_item(self, item, spider):
output="{0},{1},{2},{3},{4},{5},{6}".format(item['founded'],item['employee3'],item['employee2'],item['employee1'],item['rev3'],item['rev2'],item['rev1'])
self.accumulator[item['company']].append(output)
return item
def close_spider(self,spider):
root = os.getcwd()
p = os.path.join(root, 'Company_Lists', 'Test_of_company.csv')
with codecs.open(p,'r','utf-8') as f:
for line in f:
field = line.split(',')
company=str(field[1])
self.check[company.strip()].append(line)
file = open('output.txt','w')
for company,record in self.check.items():
for person in record:
for info in self.accumulator[company]:
output="{0},{1}\n".format(person.strip(),info)
file.write(output)
日志文件
2014-02-09 17:47:27+0000 [AllaBolag] INFO: Closing spider (finished)
2014-02-09 17:47:27+0000 [AllaBolag] Unhandled Error
Traceback (most recent call last):
File "C:\Anaconda\lib\site-packages\scrapy\middleware.py", line 59, in _process_parallel
return process_parallel(self.methods[methodname], obj, *args)
File "C:\Anaconda\lib\site-packages\scrapy\utils\defer.py", line 84, in process_parallel
dfds = [defer.succeed(input).addCallback(x, *a, **kw) for x in callbacks]
File "C:\Anaconda\lib\site-packages\twisted\internet\defer.py", line 306, in addCallback
callbackKeywords=kw)
File "C:\Anaconda\lib\site-packages\twisted\internet\defer.py", line 295, in addCallbacks
self._runCallbacks()
--- <exception caught here> ---
File "C:\Anaconda\lib\site-packages\twisted\internet\defer.py", line 577, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "Autotask_Prospecting\pipelines.py", line 28, in close_spider
for line in f:
File "C:\Anaconda\lib\codecs.py", line 684, in next
return self.reader.next()
File "C:\Anaconda\lib\codecs.py", line 615, in next
line = self.readline()
File "C:\Anaconda\lib\codecs.py", line 530, in readline
data = self.read(readsize, firstline=True)
File "C:\Anaconda\lib\codecs.py", line 477, in read
newchars, decodedbytes = self.decode(data, self.errors)
exceptions.UnicodeDecodeError: 'utf8' codec can't decode byte 0xe4 in position 67: invalid continuation byte
2014-02-09 17:47:27+0000 [AllaBolag] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 9699,
'downloader/request_count': 23,
'downloader/request_method_count/GET': 23,
'downloader/response_bytes': 618283,
'downloader/response_count': 23,
'downloader/response_status_count/200': 23,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2014, 2, 9, 17, 47, 27, 889000),
'item_scraped_count': 10,
'log_count/DEBUG': 39,
'log_count/ERROR': 3,
'log_count/INFO': 3,
'request_depth_max': 1,
'response_received_count': 23,
'scheduler/dequeued': 23,
'scheduler/dequeued/memory': 23,
'scheduler/enqueued': 23,
'scheduler/enqueued/memory': 23,
'spider_exceptions/IndexError': 2,
'start_time': datetime.datetime(2014, 2, 9, 17, 47, 25, 428000)}
2014-02-09 17:47:27+0000 [AllaBolag] INFO: Spider closed (finished)
最佳答案
鉴于 OP 已经找到了答案,我将补充一个有用的选项来调试任何异常。
Scrapy 有一个非常有用的命令行选项,名为 --pdb
:
$ scrapy crawl -h
Usage
=====
...
Global Options
--------------
...
--pdb enable pdb on failure
例如,为了重现您的错误,我使用以下蜘蛛代码:
# file: myspider.py
# encoding: utf-8
import codecs
import tempfile
from scrapy.spider import Spider
class MyspiderSpider(Spider):
name = "myspider"
start_urls = ["http://www.example.org/"]
def parse(self, response):
filename = self._create_test_file()
with codecs.open(filename, 'r', 'utf-8') as fp:
for line in fp:
self.log(line)
def _create_test_file(self):
fp = tempfile.NamedTemporaryFile(delete=False)
fp.write(u'Westfälisch'.encode('latin1'))
return fp.name
然后使用选项 --pdb
运行蜘蛛会启动 Python Debugger当异常弹出时。下面是一个示例 session ,展示了如何找到失败的值、重现异常并找到解决方案:
$ scrapy crawl myspider --pdb
2014-02-10 13:05:53-0400 [scrapy] INFO: Scrapy 0.22.1 started (bot: myproject)
...
2014-02-10 13:05:53-0400 [myspider] DEBUG: Crawled (200) <GET http://www.example.org/> (referer: None)
Jumping into debugger for post-mortem of exception ''utf8' codec can't decode byte 0xe4 in position 5: invalid continuation byte':
> /usr/lib/python2.7/codecs.py(477)read()
-> newchars, decodedbytes = self.decode(data, self.errors)
(Pdb) print data
Westf�lisch
(Pdb) repr(data)
"'Westf\\xe4lisch'"
(Pdb) data.decode('utf8')
*** UnicodeDecodeError: 'utf8' codec can't decode byte 0xe4 in position 5: invalid continuation byte
(Pdb) data.decode('latin1')
u'Westf\xe4lisch'
关于python - UTF-8编码、字典查找,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21660875/
我只想国家和资本化的值(value)。 这是我的完整代码: cities = { 'rotterdam': { 'country': 'netherlands',
想更好地了解如何比较对象类型的键。 dicOverall.exists(dic2) 返回 False,而 dicOverall.exists(dic1) 返回 True。我不太确定 .Exists 如
我是编程和 python 的新手,我不知道如何解决这个问题。 my_dict = {'tiger': ['claws', 'sharp teeth', 'four legs', 'stripes'
这个问题已经有答案了: Accessing an object property with a dynamically-computed name (19 个回答) 已关闭 8 年前。 我引用了这篇文
希望有人能帮忙。我正在使用 Python,我希望能够执行以下操作。 我有一组对象(例如形状)和一系列作用于这些对象的命令。命令的格式为命令字符串,后跟可变数量的参数,可以是字符串或整数 例如形状“矩形
我在文件中保存了一本字典。我从 python 交互式 shell 将字典加载到内存中,我的系统监视器显示 python 进程消耗了 4GB。以下命令提供以下输出: size1 = sys.getsiz
如果我运行以下代码: import json foo = [ { "name": "Bob", "occupation": "", "stand
我尝试获取列名及其索引,并将结果保存为数据框或字典: df <- data.frame(a=rnorm(10), b=rnorm(10), c=rnorm(10)) 我该怎么做?谢谢。 column
我正在尝试获取输入,如果字典 logins 有一个与我的输入匹配的键,我想返回该键的值。 logins = { 'admin':'admin', 'turtle':'password1
在 Perl 世界中有一个很棒的东西叫做 CPAN .它是开源 Perl 库的大型存储。 我使用来自 CPAN 的模块,我已经发布了 several distributions myself . 我使
这个问题已经有答案了: Is there a Python dict without values? (3 个回答) 已关闭 3 年前。 我有一个问题,我想跟踪大量值。如果我从未遇到过该值,我将执行操
想知道这是否可能。 我们有一个第 3 方库,其中包含有关用户的识别信息... 与库的主要交互是通过一个以字符串为键的 HashTable,并返回该键的信息对象图。 问题是, key 显然是区分大小写的
我是 .NET 编程的新手。对不起,如果这个问题以前被问过。 我目前正在学习 F#。 Dictionary、Hashtable 和 Map 之间有什么区别?我应该什么时候使用? 我还有一个标题中没有提
我正在尝试使用SVM进行3类分类。为此,我正在SVM培训期间准备词汇表。但是,由于我在SVM预测期间获得随机结果,因此我怀疑我的词汇创建方法中存在一些问题。我创建词汇的代码如下: //Mat trai
就目前情况而言,这个问题不太适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、民意调查或扩展讨论。如果您觉得这个问题可以改进并可能重新开放,visit
假设我有一个以下形式的嵌套字典: {'geo': {'bgcolor': 'white','lakecolor': 'white','caxis': {'gridcolor': 'white', 'l
我有一个 java 应用程序,每秒启动和停止数亿个项目(从外部脚本调用)多次。 Input: String key Output: int value 此应用程序的目的是在从未永远改变的Map(约30
我正在尝试找出字典与集合和数组相比的相对优势和功能。 我发现了一篇很棒的文章here但找不到一个简单的表格来比较所有不同的功能。 有人知道吗? 最佳答案 请参阅下表,对集合和字典进行有用的比较。 (该
我想要一个字典,它可以为字典中没有的任何键返回一个指定的值,例如: var dict = new DictWithDefValues("not specified"); dict.Add("bob78
我是 python 新手,目前仍在学习如何处理列表和字典。 我有这两个功能 def food_database(item_name, size_serv, calorie_serv, prot
我是一名优秀的程序员,十分优秀!