python - 'utf 8' codec can' t 解码字节 0xb5 在位置 0 : invalid start byte

Question

在将其标记为重复之前，我想明确表示，我已经尝试了无数解决方案来解决这个问题，方法是使用 from __future__ import unicode_literals 到 的每个排列和组合str.encode('utf8') 和 str.decode('utf8')，将 # -*- coding: utf-8 -*- 放在文件的开头，什么不是。我知道我弄错了，所以我会尽可能具体，我正在将字典转换为 JSON 数组/对象，并在网页上以原始字符串形式显示它。

我遇到问题的 unicode 字符串是文件名中以“µ”开头的字符串，因此错误发生在以下代码的最后第四行。 files 数组将该字符串的索引处的值显示为 \xb5Torrent.lnk。

if os.path.isdir(finalDirPath):
        print "is Dir"
        for (path,dir,files) in os.walk(finalDirPath):

            if dir!=[]:
                for i in dir:
                    if not hidden(os.path.join(path,i)):
                        # Here
                        JSONarray.append({"ext":"dir","path":b64(os.path.join(path,i)),"name":i})

            if files!=[]:
                for i in files:
                    if not hidden(os.path.join(path,i)):
                        # Here
                        JSONarray.append({"ext":i.split('.')[-1],"path":b64(os.path.join(path,i)),"name":i})
            break
        jsonStr = {"json":json.dumps(JSONarray)}
        return render(request,"json.html",jsonStr)

这是回溯:

Traceback (most recent call last):
File "C:\Python27\lib\site-packages\django\core\handlers\exception.py", line 39, in inner
response = get_response(request)
File "C:\Python27\lib\site-packages\django\core\handlers\base.py", line 249, in _legacy_get_response
response = self._get_response(request)
File "C:\Python27\lib\site-packages\django\core\handlers\base.py", line 187, in _get_response
response = self.process_exception_by_middleware(e, request)
File "C:\Python27\lib\site-packages\django\core\handlers\base.py", line 185, in _get_response
response = wrapped_callback(request, *callback_args, **callback_kwargs)
File "E:\ICT\Other\Python\Django\trydjango18\src\newsletter\views.py", line 468, in getJSON
JSONarray.append({"ext":i.split('.')[-1],"path":b64(os.path.join(path.encode('utf8'),i)),"name":i})
UnicodeDecodeError: 'utf8' codec can't decode byte 0xb5 in position 0: invalid start byte

Answer 1

一个更短的例子来说明你的问题:

>>> json.dumps('\xb5Torrent.lnk')

Traceback (most recent call last):
  File "<pyshell#17>", line 1, in <module>
    json.dumps('\xb5Torrent.lnk')
  File "C:\Python27\lib\json\__init__.py", line 243, in dumps
    return _default_encoder.encode(obj)
  File "C:\Python27\lib\json\encoder.py", line 201, in encode
    return encode_basestring_ascii(o)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xb5 in position 0: invalid start byte

您的数组 files 包含字节字符串，但 json.dumps() 希望数据中的任何字符串都是 unicode。它假定任何字节字符串都是 utf-8 编码的，但您的字符串使用的是不同的编码:可能是 latin1 或其他编码。在将它们添加到 JSONarray 结构之前，您需要找出文件系统使用的编码并将所有文件名解码为 un​​icode。

首先是检查您的文件系统编码:

import sys
print sys.getfilesystemencoding()

应该告诉您用于文件名的编码，然后您只需确保所有路径操作都使用 unicode:

import sys
fsencoding = sys.getfilesystemencoding()
if os.path.isdir(finalDirPath):
    print "is Dir"
    for (path,dir,files) in os.walk(finalDirPath):
        path = path.decode(fsencoding)
        for i in dir:
            i = i.decode(fsencoding)
            if not hidden(os.path.join(path,i)):
                # Here
                JSONarray.append({
                    "ext": "dir",
                    "path": b64(os.path.join(path,i)),
                    "name": i})
                })

        for i in files:
            i = i.decode(fsencoding)
            if not hidden(os.path.join(path,i)):
                # Here
                JSONarray.append({
                    "ext": i.split('.')[-1],
                    "path": b64(os.path.join(path,i)),
                    "name":i
                })
        break
    jsonStr = {"json":json.dumps(JSONarray)}
    return render(request,"json.html",jsonStr)