unicode - 如何在 Unicode 中将字符串设置为大写/小写？

Question

这主要是一个我很好奇的理论问题。 (我不是想通过自己编码或任何东西来做到这一点，我不是在重新发明轮子。)

我的问题是大写/小写等价表如何适用于 Unicode。

例如，如果我必须在 ASCII 中执行此操作，我会取一个字符，如果它落在 [a-z] 范围内，我会将 A 和 a 之间的差相加。

如果它不在该范围内，我会为 10 个左右的重音字符加上 ñ 提供一个小的等价表。
(或者，我可以拥有一个包含 256 个条目的完整等价数组，其中大部分与输入相同)

但是，我猜测有一种更好的方法来指定 Unicode 中的等价物，因为有数十万个字符，而且理论上可以添加一种新语言或一组字符(我期待您发生这种情况时不需要修补窗口)。

Windows 是否为每个字符都有一个巨大的硬编码等价表？或者这是如何实现的？

一个相关的问题是 SQL Server 如何实现基于 Unicode 的不区分重音和不区分大小写的查询。它是否有一个内部表告诉它 é ë è E É È 和 Ë 都等价于“e”？

在比较字符串时，这听起来不是很快。

它如何快速访问索引？它是否已经将索引值转换为它们的“基本”字符，对应于该字段的排序规则？

有谁知道这些东西的内部结构？

谢谢!

Answer 1

我将解决这个问题的 MS SQL Server 部分，但“正确”答案实际上取决于支持的语言和应用程序。

在 SQL Server 中创建表时，每个文本字段都具有隐式或显式指定的排序规则。这会影响排序顺序和比较行为。对于大多数英语(美国)语言环境，默认值为 Latin1_General_CI_AS，或 Latin 1，不区分大小写，区分重音。这意味着，例如，a=A，但是 a!=Ä 和 a!=ä。您还可以使用不区分重音的 (Latin1_General_CI_AI)，它将“A”的所有变音符号视为相等。

一些语言环境支持其他类别的比较；例如，法语对包含变音符号的单词的排序与德语的排序略有不同。土耳其语认为无点 i 和带点 i 在语义上是不同的，因此如果您使用土耳其语、不区分大小写、区分重音的排序规则，即使不区分大小写的比较，I 和 i 也不匹配。

您可以更改每个数据库、每个表、每个字段的排序规则，并且有一定的成本，甚至每个查询。我的理解是索引根据指定的排序规则进行标准化，这意味着索引基本上保持原始字符串的扁平版本。例如，对于不区分大小写的排序规则，Apple 和 apple 存储为 apple。查询在搜索之前使用相同的排序规则进行展平。

在日语中，还有另一类规范化，其中全角和半角字符如 ア=ｱ，在某些情况下，两个半角字符被展平为一个语义等效的字符 (バ=ﾊﾞ)。最后，对于某些语言，还有另一个带有复合字符的蜡球，其中孤立的变音字符可以与其他字符组合(例如，ä 中的变音符号是一个字符，由简单的形式 a 组合而成)。越南语、泰语和其他一些语言都属于此类别的变体。如果存在规范形式，Unicode 规范化允许将组合形式和分解形式视为等效形式。通常在进行任何比较之前应用 Unicode 规范化。

总而言之，对于不区分大小写的比较，您执行的操作与比较 ASCII 范围字符串时非常相似:将比较的左侧和右侧展平为“小写”(例如)，然后将数组作为二进制进行比较大批。不同之处在于你需要
1) 将字符串规范化为相同的 unicode 形式(kC 或 kD)
2)根据该语言环境的规则将字符串规范化为相同的大小写
3)根据重音敏感规则对重音进行标准化
4) 根据二进制比较进行比较
4)如果适用，例如在排序的情况下，使用附加的二级和三元排序规则进行比较，其中包括类似于某些语言中“M”之前的“Mc”排序的东西。

是的，Windows 存储所有这些规则的表。默认情况下，您不会在每个安装中都获得所有这些，除非您通过控制面板的东亚语言支持和复杂脚本支持添加对它们的支持。