python - 如何在 Python 中将\xXY 编码的字符转换为 UTF-8？

Question

我有一个文本，其中包含诸如“\xaf”、“\xbe”之类的字符，据我从 this question 中了解到, 是 ASCII 编码的字符。

我想用 Python 将它们转换为 UTF-8 等价物。通常的 string.encode("utf-8") 抛出 UnicodeDecodeError。有没有更好的方法，例如，使用 codecs 标准库？

样本 200 characters here .

Answer 1

您的文件已经是 UTF-8 编码文件。

# saved encoding-sample to /tmp/encoding-sample
import codecs
fp= codecs.open("/tmp/encoding-sample", "r", "utf8")
data= fp.read()

import unicodedata as ud

chars= sorted(set(data))
for char in chars:
    try:
        charname= ud.name(char)
    except ValueError:
        charname= "<unknown>"
    sys.stdout.write("char U%04x %s\n" % (ord(char), charname))

并手动填写未知名称:
char U000a 换行
char U001e 信息分隔符二
char U001f 信息分隔符一