python - python中的中文和日文字符支持

Question

如何正确阅读日文和中文字符。我正在使用 python 2.5。输出显示为 "E:\Test\??????????"

path = r"E:\Test\は最高のプログラマ"
t = path.encode()
print t
u = path.decode()
print u
t = path.encode("utf-8")
print t
t = path.decode("utf-8")
print t

Answer 1

请务必阅读 Python Unicode HOWTO ;它解释了如何在 Python 代码中处理和包含非 ASCII 文本。

如果您想在代码中包含日语文字，您有多种选择:

• 使用 unicode 文字(创建 unicode 对象而不是字节字符串)，但任何非 ascii 代码点都由 unicode 转义字符表示。它们采用 \uabcd 的形式，即一个反斜杠、一个 u 和 4 个十六进制数字:

  ru = u'\u30EB'
  

  将是一个字符，片假名“ru”代码点(“ru”)。

• 使用 unicode 文字，但以某种编码形式包含字符。您的文本编辑器将以给定的编码(例如 UTF-16)保存文件；您需要在源文件的顶部声明该编码:

  # encoding: utf-16
  
  ru = u'ル'
  

  其中包含“ru”而不使用转义符。 Python 2 文件的默认编码是 ASCII，因此通过声明一种编码，您可以直接使用日语。

• 使用字节串字面量，准备好编码。通过其他方式对代码点进行编码，并将它们包含在字节字符串文字中。如果您要做的只是以编码形式使用它们，那么这应该没问题:

  ru = '\xeb\x30'  # ru encoded to UTF16 little-endian
  

  我将“ru”编码为 UTF-16 little-endian，因为这是默认的 Windows NTFS 文件名编码。

下一个问题是您的终端，Windows 控制台因不支持许多开箱即用的字符集而臭名昭著。您可能希望将其配置为处理 UTF-8。参见 this question了解一些细节，但您需要在控制台中运行以下命令:

chcp 65001

要切换到 UTF-8，您可能需要切换到可以处理代码点的控制台字体(也许是 Lucida？)。