delphi - 我应该用什么？ UTF8 还是 UTF16？

Question

我必须在国际范围内分发我的应用程序。

假设我有一个控件(如备忘录)，用户可以在其中输入一些文本。用户可以是日本人、俄罗斯人、加拿大人等。我想将字符串作为 TXT 文件保存到磁盘以供以后使用。我将使用我自己的函数来编写文本，而不是像 TMemo.SaveToFile() 这样的函数。

如何将字符串保存到磁盘？采用 UTF8 或 UTF16 格式？

Answer 1

它们之间的主要区别在于UTF8向后兼容ASCII。只要您仅使用前 128 个字符，不支持 Unicode 的应用程序仍然可以处理数据(这可能是优点或缺点，具体取决于您的场景)。特别是，当切换到 UTF16 时，每个 API 函数都需要针对 16 位字符串进行调整，而使用 UTF8，如果旧 API 函数不进行任何字符串处理，则通常可以保持不变。此外，UTF8 不依赖于字节顺序，而 UTF16 则依赖于字节顺序，这可能会使字符串 I/O 变得复杂。

一个常见的误解是 UTF16 更容易处理，因为每个字符始终恰好占用两个字节。不幸的是，事实并非如此。 UTF16 是一种可变长度编码，其中一个字符可能占用 2 或 4 个字节。因此，任何与 UTF8 有关的可变长度问题相关的困难也适用于 UTF16。

最后，存储大小:关于 UTF16 的另一个常见误解是，对于大多数外语来说，它比 UTF8 更具存储效率。对于所有欧洲语言，UTF8 占用更少的存储空间，每个字符可以用一到两个字节进行编码。非 BMP 字符在 UTF8 和 UTF16 中均占用 4 个字节。 UTF16 占用存储空间较少的唯一情况是，您的文本主要由 U+0800 到 U+FFFF 范围内的字符组成，其中存储了中文、日文和印地文的字符。

James McNellis 在 BoostCon 2014 上发表了精彩的演讲，详细讨论了不同编码之间的各种权衡。尽管演讲的标题是C++ 中的 Unicode，但整个前半部分实际上与语言无关。一个video recording of the full talk is available at Boostcon's Youtube channel ，而slides can be found on github .