c++ - 从 char* 创建 UTF-16 字符串

Question

所以我有标准的 C 字符串:

char* name = "Jakub";

我想将其转换为 UTF-16。我发现，UTF-16 将两倍长 - 一个字符占用两个 个字符。
所以我创建了另一个字符串:

char name_utf_16[10];  //"Jakub" is 5 characters

现在，我相信对于 ASCII 字符，我只会使用较低的字节，所以对于所有这些字符，它就像 74 00 for J 等等。有了这个信念，我可以做出这样的代码:

void charToUtf16(char* input, char* output, int length) {
    /*Todo: how to check if output is long enough?*/
    for(int i=0; i<length; i+=2)  //Step over 2 bytes
    {
        //Lets use little-endian - smallest bytes first
        output[i] = input[i];
        output[i+1] = 0;  //We will never have any data for this field
    }
}

但是，在这个过程中，我以 "Jkb" 结束。我不知道如何正确测试它 - 我刚刚将字符串发送到 Minecraft Bukkit 服务器。这是它在断开连接时所说的:

13:34:19 [INFO] Disconnecting jkb?? [/127.0.0.1:53215]: Outdated server!

注意:我知道 Minecraft 使用 big-endian。上面的代码只是一个例子，事实上，我已经在类中实现了我的转换。

Answer 1

在我回答你的问题之前，请考虑一下:

这个编程领域充满了人为陷阱。理解 ASCII、UTF7/8 和 ANSI/“多字节字符串 (MBCS)”之间的区别很有意义，所有这些对于说英语的程序员来说看起来和感觉上都是一样的，但如果它们是介绍给欧洲或亚洲用户。

ASCII:字符在 32-127 范围内。只有一个字节。线索就在名字中，它们对美国人来说很棒，但不适合世界其他地方。

ANSI/MBCS:这就是“代码页”的原因。字符32-127与ASCII相同，但也可以有128-255范围内的字符以及额外的字符，128-255范围内的某些字符可以作为标记字符继续的标志进入第二个、第三个甚至第四个字节。要正确处理字符串，您需要字符串字节和正确的代码页。如果您尝试使用错误的代码页处理字符串，您将无法得到正确的字符，并且会误解一个字符是一个、两个甚至 4 个字节的字符。

UTF7/8:这些是 21 位 unicode 字符点的 8 位宽格式。在 UTF-7 和 UTF-8 中，unicode 字符的长度可以在 1 到 4 个字节之间。 UTF 编码相对于 ANSI/MBCS 的优势在于没有由代码页引起的歧义。每个脚本中的每个字形都有一个唯一的 unicode 代码点，这意味着不可能通过在具有不同区域设置的不同计算机上解释数据来破坏字符集。

那么开始回答你的问题:

1. 虽然您假设您的 char* 将仅指向一个 ASCII 字符串，但这是一个非常危险的选择，用户在控制输入的数据，而不是程序员。默认情况下，Windows 程序会将其存储为 MBCS。

2. 您的第二个假设是 UTF-16 编码的大小是 8 位编码的两倍。这通常不是一个安全的假设。根据源编码的不同，UTF-16 编码的大小可能是原来的两倍，也可能小于两倍，在一个极端的例子中，实际上长度可能更短。

那么，安全的解决方案是什么？

安全的选择是在内部将您的应用程序实现为 unicode。在 Windows 上，这是一个编译器选项，意味着您的 Windows 控件都使用 wchar_t* 字符串作为它们的数据类型。在 Linux 上，我不太确定您是否可以始终使用 unicide 图形和操作系统库。您还必须使用 wcslen() 函数来获取字符串的长度等。当您与外界交互时，请准确使用所使用的字符编码。

要回答您的问题，请将问题更改为，当我收到非 UTF-16 数据时我该怎么做？

首先，要非常清楚您对其格式所做的假设是什么？其次，接受有时转换为 UTF-16 可能会失败的事实。

如果你对源格式很清楚，那么你可以选择合适的win32或STL转换器来转换格式，然后你应该在使用结果之前寻找转换失败的证据。例如Windows 中的 mbstowcs 或 MultiByteToWideChar()。然而，安全地使用这两种方法意味着您需要理解上述所有答案。

所有其他选项都会带来风险。使用 mbcs 字符串，您将通过使用一个代码页输入并使用不同的代码页处理来破坏数据字符串。假设使用 ASCII 数据，当您遇到非 ASCII 字符时，您的代码就会崩溃，您会因为您的不足而“责备”用户。