gpt4 book ai didi

c++ - std::string 和 UTF-8 编码的 unicode

转载 作者:塔克拉玛干 更新时间:2023-11-02 23:31:34 30 4
gpt4 key购买 nike

如果我理解的很好,可以同时使用string和wstring来存储UTF-8文本。

  • 对于 char,ASCII 字符占用一个字节,一些中文字符占用 3 或 4 个字节,等等。这意味着 str[3] 不一定指向第 4 个字符。

  • wchar_t 相同,但每个字符使用的最小字节数始终为 2(而不是 char 的 1),以及 3 或 4字节宽的字符将占用 2 个 wchar_t

对吗?

那么,如果我想对这样一个奇怪编码的字符串使用 string::find_first_of()string::compare() 等怎么办?它会工作吗?字符串类是否处理字符具有可变大小的事实?或者我应该只将它们用作虚拟的无特征字节数组,在这种情况下我宁愿选择 wchar_t[] 缓冲区。

如果 std::string 不处理,第二个问题:是否有库提供可以处理 UTF-8 编码的字符串类,以便 str[3] 实际上指向第 3 个字符(这将是一个长度为 1 到 4 的字节数组)?

最佳答案

你说的是 Unicode。 Unicode 使用 32 位来表示一个字符。然而,由于那是在浪费内存,所以有更紧凑的编码。 UTF-8 就是这样一种编码。它假定您使用的是字节单位,并将 Unicode 字符映射到 1、2、3 或 4 个字节。 UTF-16 是另一种使用单词作为单位并将 Unicode 字符映射到 1 或 2 个单词(2 或 4 个字节)的编码。您可以对字符串和 wchar_t 使用两种编码。 UTF-8 对于英文文本/数字往往更紧凑。

无论使用何种编码和类型,有些东西都会起作用(比较)。然而,所有需要理解一个字符的功能都将被破坏。即第 5 个字符并不总是基础数组中的第 5 个条目。它可能看起来像是在处理某些示例,但它最终会崩溃。string::compare 会工作,但不要期望按字母顺序排列。那是语言依赖的。string::find_first_of 将适用于某些但不是全部。长字符串可能会起作用,因为它们很长,而较短的字符串可能会因字符对齐而混淆并产生很难发现的错误。

最好的办法是找到一个可以为你处理它的库并忽略下面的类型(除非你有充分的理由选择一个或另一个)。

关于c++ - std::string 和 UTF-8 编码的 unicode,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18671858/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com