php - 什么是标准化的 UTF-8？

Question

ICU project (现在还有一个 PHP library )包含帮助规范化 UTF-8 字符串所需的类，以便在搜索时更容易比较值。

但是，我想弄清楚 what this means应用程序。例如，在哪些情况下我需要“Canonical Equivalence”而不是“Compatibility equivalence”，反之亦然？

Answer 1

关于 Unicode 规范化你不想知道的一切

规范规范化

Unicode 包含多种编码某些字符的方法，尤其是重音字符。规范规范化将代码点更改为规范编码形式。生成的代码点应该看起来与原始代码点相同，除非字体或渲染引擎中存在任何错误。

何时使用

因为结果看起来相同，所以在存储或显示字符串之前对字符串应用规范化归一化总是安全的，只要您可以容忍结果与输入不完全相同。

规范标准化有 2 种形式:NFD 和 NFC。两者是等价的，因为可以在这两种形式之间进行转换而不会丢失。在 NFC 下比较两个字符串总是会得到与在 NFD 下比较它们相同的结果。

NFD

NFD 将字符完全展开。这是计算速度更快的归一化形式，但会产生更多代码点(即使用更多空间)。

如果您只想比较两个尚未规范化的字符串，这是首选的规范化形式，除非您知道需要兼容性规范化。

NFC

NFC 在运行 NFD 算法后尽可能重新组合代码点。这需要更长的时间，但会产生更短的字符串。

兼容性规范化

Unicode 还包括许多实际上不属于但在旧字符集中使用的字符。 Unicode 添加了这些，以允许将这些字符集中的文本作为 Unicode 处理，然后无损转换回来。

兼容性规范化将这些转换为相应的“真实”字符序列，并执行规范规范化。兼容性规范化的结果可能与原始结果不同。

包含格式信息的字符将替换为不包含格式信息的字符。例如，字符 ⁹ 被转换为 9。其他不涉及格式差异。例如罗马数字字符 Ⅸ 被转换为常规字母 IX。

显然，一旦执行了这种转换，就不可能再无损地转换回原始字符集。

何时使用

Unicode 联盟建议将兼容性规范化考虑为 ToUpperCase 转换。它在某些情况下可能有用，但你不应该随便应用它。

一个很好的用例是搜索引擎，因为您可能希望搜索 9 以匹配 ⁹。

您可能不应该做的一件事是向用户显示应用兼容性规范化的结果。

NFKC/NFKD

兼容性规范化形式有 NFKD 和 NFKC 两种形式。它们与 NFD 和 C 之间的关系相同。

NFKC 中的任何字符串本质上也在 NFC 中，NFKD 和 NFD 也是如此。因此NFKD(x)=NFD(NFKC(x))，NFKC(x)=NFC(NFKD(x))等

结论

如果有疑问，请使用规范标准化。根据适用的空间/速度折衷选择 NFC 或 NFD，或者根据您与之互操作的事物的要求。