python - Unicode解码错误: 'utf-8' codec can't decode byte 0xe3 in position 34: invalid continuation byte

Question

我想使用以下代码在 python 文件中打开一些波斯语文本文件:

 for line in codecs.open('0001.txt',encoding='UTF-8'):
       lines.appends(line)

但它给了我这个错误:

> Traceback (most recent call last):
  File "/usr/lib/pycharm-community/helpers/pydev/pydevd.py", line 1596, in <module>
    globals = debugger.run(setup['file'], None, None, is_module)
  File "/usr/lib/pycharm-community/helpers/pydev/pydevd.py", line 974, in run
    pydev_imports.execfile(file, globals, locals)  # execute the script
  File "/usr/lib/pycharm-community/helpers/pydev/_pydev_imps/_pydev_execfile.py", line 18, in execfile
    exec(compile(contents+"\n", file, 'exec'), glob, loc)
  File "/home/nlpuser/Documents/ms/Work/General_Dataset_creator/BijanKhanReader.py", line 24, in <module>
    for lin in codecs.open('corpuses/markaz/0001.txt',encoding='UTF-8'):
  File "/home/nlpuser/anaconda3/envs/tmpy36/lib/python3.6/codecs.py", line 713, in __next__
    return next(self.reader)
  File "/home/nlpuser/anaconda3/envs/tmpy36/lib/python3.6/codecs.py", line 644, in __next__
    line = self.readline()
  File "/home/nlpuser/anaconda3/envs/tmpy36/lib/python3.6/codecs.py", line 557, in readline
    data = self.read(readsize, firstline=True)
  File "/home/nlpuser/anaconda3/envs/tmpy36/lib/python3.6/codecs.py", line 503, in read
    newchars, decodedbytes = self.decode(data, self.errors)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe3 in position 0: invalid continuation byte

这段代码有什么问题？

他是文件的输出:

0001.txt: Non-ISO extended-ASCII text, with CRLF line terminators

Answer 1

UTF-8 具有非常特定的格式，因为字符可以由 1 到 4 个字节的任意位置表示。

如果一个字符是单字节，则用 0x00-0x7F 表示。如果它由两个或更多表示，则前导字节将以 0xC2 to 0xF4 开头。 ，后跟一到三个连续字节，范围为 0x80 to 0xBF .

在您的情况下，Python 找到了一个位于连续字符位置的字符(即前导字符后面的字符之一)，但为 0xE3 ，这不是合法的延续字符。问题可能出在您的文本文件中，而不是您的程序中 - 要么编码错误，要么编码错误。

使用hexdump -C <file>或xxd <file>验证您拥有的确切字节序列和 file <file>尝试猜测编码，我们也许可以说更多。