Python:用 unidecode 解决 unicode hell

Question

我一直在研究将文本扁平化为 ascii 的方法。所以 ā -> a 和 ñ -> n 等

unidecode 对此非常出色。

# -*- coding: utf-8 -*-
from unidecode import unidecode
print(unidecode(u"ā, ī, ū, ś, ñ"))
print(unidecode(u"Estado de São Paulo"))

产生:

a, i, u, s, n
Estado de Sao Paulo

但是，我无法使用输入文件中的数据复制此结果。

test.txt文件内容:

ā, ī, ū, ś, ñ
Estado de São Paulo

# -*- coding: utf-8 -*-
from unidecode import unidecode
with open("test.txt", 'r') as inf:
    for line in inf:
        print unidecode(line.strip())

产生:

A, A<<, A<<, A, A+-
Estado de SAPSo Paulo

和:

RuntimeWarning: Argument is not an unicode object. Passing an encoded string will likely have unexpected results.

问题:如何以 unicode 格式读取这些行，以便将它们传递给 unidecode？

Answer 1

使用codecs.open

with codecs.open("test.txt", 'r', 'utf-8') as inf:

编辑:以上内容适用于 Python 2.x。对于 Python 3，您不需要使用 codecs，编码参数已添加到常规 open。

with open("test.txt", 'r', encoding='utf-8') as inf: