Unicode 映射到语言

Question

这个问题可能是堆栈溢出的边缘，所以如果它看起来过于偏离主题，我提前道歉。我正在编写一个涉及多种语言的程序，我需要一个将语言 映射到 Unicode 点的表。熟悉 Unicode 的人都知道，字符被分成“ block ”，例如拉丁文、西里尔文等。当然，大多数使用拉丁字符的语言并不使用所有拉丁字符，并且大多数使用西里尔字符的语言不使用 所有 西里尔字符等。我对一个表感兴趣，该表仅将英语映射到英语中使用的字符，将西类牙语映射到仅使用西类牙语的字符，等等。没有必要涵盖世界上的每一种语言(因为这几乎是不可能的)，但至少要涵盖一些更常见的语言。 (即便如此，这将是一个涉及多对多关系的相当广泛的表。)我不确定是否存在这样的表。 (如果没有，我可能会把它变成一个开源项目，因为它对我和其他人都非常有用。)

Answer 1

CLDR Unicode Common Locale Data Repository，包含大量语言的字符集定义。 exemplarCharacters元素指定正常书写该语言单词所需的字符。此元素的当前定义可以在 By-Type Chart: misc.exemplarCharacters 上看到页(按书写系统分组)，但对于自动化处理，您可能会发现 XML 文件更合适。 exemplarCharacters-other 元素当前包含标点字符的类似数据。

这可能是一般此类信息的最佳可用汇编，但它在概念上非常模糊(它并没有真正尝试定义作为用于编写语言的字符的含义)，并且不同语言的信息有在开放但不包含一般质量控制的过程中收集。

元素的含义在 LDML 规范中定义，条款 5.6 Character Elements .请注意描述“<characters>元素提供有关在语言环境中常用字符的可选信息，以及有助于选择适合语言环境的资源或数据的信息，例如在通常用于以语言环境传输数据的字符编码中进行选择时地点。”这是一个相当奇怪的观点，尤其是在 Unicode Consortium 文档中，因为我们可以使用涵盖所有语言的 UTF-8。但在其他问题中，有关语言中使用的字符的信息可能会有用，例如文本字体的选择，或输入数据的初步检查，或设置 OCR 扫描参数，或定义键盘设置。这些上下文可能需要对“语言中使用的字符”这一概念进行不同定义。