Python - 查找 unicode/ascii 问题

Question

我是 csv.reader，可以从很长的表格中提取信息。我正在处理该数据集，然后我使用 xlwt 包给我一个可用的 excel 文件。

但是，我得到这个错误:

UnicodeDecodeError: 'ascii' codec can't decode byte 0x92 in position 34: ordinal not in range(128)

我想问大家的问题是，我如何才能准确找到我的数据集中的错误位置？另外，是否有一些我可以编写的代码可以查看我的数据集并找出问题所在(因为一些数据集运行时没有出现上述错误而其他数据集有问题)？

Answer 1

答案实际上很简单:一旦您从文件中读取数据，就使用文件编码将其转换为 unicode，并处理 UnicodeDecodeError 异常:

try:
        # decode using utf-8 (use ascii if you want)
        unicode_data = str_data.decode("utf-8")
except UnicodeDecodeError, e:
        print "The error is there !"

这会让你免去很多麻烦；您不必担心多字节字符编码，外部库(包括 xlwt)会在需要编写时做正确的事。

Python 3.0 将强制指定字符串的编码，所以现在就这样做是个好主意。