python - 在 Windows 窄 Python 构建上识别宽 Unicode 点

Question

我在 Windows 上有一个狭窄的 Python 2.7.6 版本。我还有一个包含“窄”(< 0x10000) 和“宽”(> 0xFFFF) Unicode 代码点的字符串。

>>> wide1 = u'\U0002b740'
>>> wide2 = u'\ud86d\udf40'
>>> wide1 == wide2
True
>>> narrow = u'\ud86d'
>>> s = wide1 + narrow

但是当我迭代字符串时，它无法识别宽代码点:

>>> for c in s:
>>>   c
u'\ud86d'
u'\udf40'
u'\ud86d'

并且不可能找出一个 char 是窄代码点还是宽代码点的一部分。

Answer 1

你不能。高 Unicode 代码点在内部表示为 UTF-16 代理项。

U+D86D 和 U+DF40 代码点就是这样的替代品，无论如何你都不应该在正常的 Unicode 文本使用中看到它。引用自 Wikipedia article on UTF-16 :

The Unicode standard permanently reserves these code point values for UTF-16 encoding of the lead and trail surrogates, and they will never be assigned a character, so there should be no reason to encode them. The official Unicode standard says that no UTF forms, including UTF-16, can encode these code points.

因此，U+D800 到 U+DFFF 代码点不应被视为窄点；它们是宽代码点的一半，这就是它们的目的。