Python UTF-16 WAVY DASH 编码问题/问题

Question

我今天在做一些工作，遇到了一个“看起来很有趣”的问题。我一直在将一些字符串数据解释为 utf-8，并检查编码形式。数据来自 ldap(特别是 Active Directory)，通过 python-ldap。没有惊喜。

所以我几次遇到字节序列 '\xe3\x80\xb0'，当解码为 utf-8 时，它是 unicode 代码点 3030 ( wavy dash )。我需要 utf-16 格式的字符串数据，所以我很自然地通过 .encode('utf-16') 将其转换。不幸的是，python 似乎不喜欢这个字符:

D:\> python
Python 2.6.4 (r264:75708, Oct 26 2009, 08:23:19) [MSC v.1500 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> u"\u3030"
u'\u3030'
>>> u"\u3030".encode("utf-8")
'\xe3\x80\xb0'
>>> u"\u3030".encode("utf-16-le")
'00'
>>> u"\u3030".encode("utf-16-be")
'00'
>>> '\xe3\x80\xb0'.decode('utf-8')
u'\u3030'
>>> '\xe3\x80\xb0'.decode('utf-8').encode('utf-16')
'\xff\xfe00'
>>> '\xe3\x80\xb0'.decode('utf-8').encode('utf-16-le').decode('utf-8')
u'00'

似乎 IronPython 也不是粉丝:

D:\ipy
IronPython 2.6 Beta 2 (2.6.0.20) on .NET 2.0.50727.3053
Type "help", "copyright", "credits" or "license" for more information.
>>> u"\u3030"
u'\u3030'
>>> u"\u3030".encode('utf-8')
u'\xe3\x80\xb0'
>>> u"\u3030".encode('utf-16-le')
'00'

如果有人能告诉我这里到底发生了什么，将不胜感激。

Answer 1

这似乎是正确的行为。字符 u'\u3030' 以 UTF-16 编码时与 '00' 以 UTF-8 编码相同。看起来很奇怪，但它是正确的。

你看到的'\xff\xfe'只是一个Byte Order Mark .

您确定要波浪破折号而不是其他字符吗？如果您希望使用不同的字符，那可能是因为它在进入您的应用程序之前已经被错误编码。