python - 字符串中的奇怪字符

Question

我正在从文件中读取一些数据..

但是我观察到一些奇怪的字符；

'tamb\xc3\xa9m', 'f\xc3\xbcr','cari\xc3\xb1o'

我的文件读取代码相当标准:

 with open(filename) as f:
    for line in f:
        print line

Answer 1

您有 UTF-8 编码的数据。你可以解码数据:

with open(filename) as f:
   for line in f:
       print line.decode('utf8')

或使用 io.open()让 Python 在您阅读时为您解码内容:

import io

with io.open(filename, encoding='utf8') as f:
   for line in f:
       print line

你的数据，已解码:

>>> print 'tamb\xc3\xa9m'.decode('utf8')
também
>>> print 'f\xc3\xbcr'.decode('utf8')
für
>>> print 'cari\xc3\xb1o'.decode('utf8')
cariño

您似乎打印了字符串 representations(repr() 函数的输出)，它生成适合粘贴回 Python 解释器的字符串文字语法。 \xhh 十六进制代码用于可打印 ASCII 范围之外的字符。 list 或 dict 等 Python 容器也使用 repr() 在打印时显示其内容。

您可能想阅读有关 Unicode 的内容，以及它如何与 Python 交互。见:

• The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)作者:乔尔·斯波尔斯基

• Python Unicode HOWTO

• Pragmatic Unicode作者:内德·巴切尔德