c++ - 什么决定了 C++ 中 Unicode 字符串的规范化形式？

Question

在 C++ 中创建字符串文字时，我想知道字符串是如何编码的——我可以指定编码形式(UTF-8、16 或 32)，但我想知道编译器如何确定未指定的部分编码。

对于 UTF-8，字节顺序是不相关的，我假设 UTF-16 和 UTF-32 的字节顺序默认是系统字节顺序。这留下了规范化。例如:

std::string u8foo = u8"Föo";
std::u16string u16foo = u"Föo";
std::u32string u32foo = U"Föo";

在所有这三种情况下，至少有两种可能的编码——分解或组合。对于更复杂的字符，可能有多种可能的编码，但我假设编译器会生成一种规范化形式。

这是一个可靠的假设吗？我可以提前知道 u8foo 和 u16foo 中的文本以何种规范化存储吗？我可以以某种方式指定它吗？

我的印象是这不是由标准定义的，而是特定于实现的。 GCC 是如何处理的？其他编译器？

Answer 1

基本源字符集之外的字符串的解释是依赖于实现的。 (下面的标准引用。)所以没有明确的答案；实现甚至没有义务接受基本集之外的源字符。

规范化涉及将可能的多个源代码点映射到可能的多个内部代码点，包括重新排序源字符序列的可能性(例如，如果变音符号不符合规范顺序)。这种转换比标准预期的源→内部转换更复杂，我怀疑尝试它们的编译器不会完全符合标准。无论如何，我知道没有编译器这样做。

因此，一般来说，如果这对您很重要，您应该确保您提供给编译器的源代码按照您想要的规范化形式进行了规范化。

在 GCC 的特殊情况下，编译器根据默认语言环境的编码解释源代码，除非另有说明(使用 -finput-charset 命令行选项)。如有必要，它将重新编码为 Unicode 代码点。但它不会改变代码点的顺序。所以如果你给它一个规范化的 UTF-8 字符串，那就是你得到的。如果你给它一个非规范化的字符串，那也是你得到的。

在此example on coliru ，第一个字符串被组合，第二个字符串被分解(尽管它们都是某种规范化形式)。 (coliru 中第二个示例字符串的呈现似乎取决于浏览器。在我的机器上，chrome 正确呈现它们，而 firefox 将变音符号向左移动一个位置。YMMV。)

---

C++ 标准将基本源字符集(在§2.3/1 中)定义为字母、数字、五个空白字符(空格、换行符、制表符、垂直制表符和换页符)和符号:

_ { } [ ] # ( ) < > % : ; . ? * + - / ^ & | ~ ! = , \ " ’ 

它为编译器提供了很大的自由度，可以解释它如何解释输入，以及它如何处理基本源字符集之外的字符。 §2.2 第 1 段(来自 C++14 草案 n4527):

Physical source file characters are mapped, in an implementation-defined manner, to the basic source character set (introducing new-line characters for end-of-line indicators) if necessary. The set of physical source file characters accepted is implementation-defined. Any source file character not in the basic source character set (2.3) is replaced by the universal-character-name that designates that character. (An implementation may use any internal encoding, so long as an actual extended character encountered in the source file, and the same extended character expressed in the source file as a universal-character-name (e.g., using the \uXXXX notation), are handled equivalently except where this replacement is reverted in a raw string literal.)

值得补充的是，从 C++ 标准的角度来看，变音符号是 字符。所以组合的 ñ (\u00d1) 是一个字符，而分解的 ñ (\u006e\u0303) 是两个字符，不管它看起来如何。

仔细阅读标准中的上述段落表明，规范化或其他非严格 1-1 的转换是不允许的，尽管编译器可能会拒绝包含基本源字符集之外的字符的输入。