c++ - 如何在 C++ 中使用 Unicode？

Question

假设一个非常简单的程序:

• 问一个名字。
• 将名称存储在变量中。
• 在屏幕上显示变量内容。

它是如此简单，这是一个人学习的第一件事。

但我的问题是，如果我使用日文字符输入名称，我不知道该怎么做。

所以，如果你知道如何在 C++ 中做到这一点，请给我一个例子(我可以编译和测试)

谢谢。

---

user362981:感谢您的帮助。我编译了您编写的代码没有问题，它们出现控制台窗口，我无法在其上输入任何日文字符(使用 IME)。还有如果我将您代码中的一个单词(“hello”)更改为包含日文字符的单词，它也不会显示这些。

Svisstack:也感谢您的帮助。但是当我编译你的代码时，我得到了以下错误:

warning: deprecated conversion from string constant to 'wchar_t*'
error: too few arguments to function 'int swprintf(wchar_t*, const wchar_t*, ...)'
error: at this point in file
warning: deprecated conversion from string constant to 'wchar_t*'

Answer 1

你会得到很多关于宽字符的答案。宽字符，特别是 wchar_t 不等于 Unicode。你可以使用它们(有一些缺陷)来存储 Unicode，就像你可以使用 unsigned char 一样。 . wchar_t非常依赖系统。引用 Unicode Standard, version 5.2, chapter 5:

With the wchar_t wide character type, ANSI/ISO C provides for inclusion of fixed-width, wide characters. ANSI/ISO C leaves the semantics of the wide character set to the specific implementation but requires that the characters from the portable C execution set correspond to their wide character equivalents by zero extension.

还有那个

The width of wchar_t is compiler-specific and can be as small as 8 bits. Consequently, programs that need to be portable across any C or C++ compiler should not use wchar_t for storing Unicode text. The wchar_t type is intended for storing compiler-defined wide characters, which may be Unicode characters in some compilers.

所以，它是定义的实现。这里有两个实现:在 Linux 上，wchar_t是 4 字节宽，并表示 UTF-32 编码的文本(无论当前的语言环境如何)。 (BE 或 LE 取决于您的系统，以 native 为准。)然而，Windows 有一个 2 字节宽的 wchar_t , 并用它们表示 UTF-16 代码单元。完全不同。

更好的途径:了解语言环境，因为您需要知道这一点。例如，因为 我的环境设置 使用 UTF-8 (Unicode)，以下程序将使用 Unicode:

#include <iostream>

int main()
{
    setlocale(LC_ALL, "");
    std::cout << "What's your name? ";
    std::string name;
    std::getline(std::cin, name);
    std::cout << "Hello there, " << name << "." << std::endl;
    return 0;
}

...

$ ./uni_test
What's your name? 佐藤 幹夫
Hello there, 佐藤 幹夫.
$ echo $LANG
en_US.UTF-8

但它没有任何 Unicode。它只是读取字符，这些字符以 UTF-8 的形式出现因为我的环境是这样设置的。我可以很容易地说“哎呀，我是捷克人，让我们使用 ISO-8859-2”:突然，程序正在接受 ISO-8859-2 输入，但由于它只是反刍，所以没关系，程序仍会正常运行。

现在，如果那个例子读入了我的名字，然后试图把它写到一个 XML 文件中，然后愚蠢地写了 <?xml version="1.0" encoding="UTF-8" ?>在顶部，当我的终端使用 UTF-8 时是正确的，但当我的终端使用 ISO-8859-2 时是错误的。在后一种情况下，它需要在将其序列化为 XML 文件之前对其进行转换。 (或者，只需将 ISO-8859-2 编写为 XML 文件的编码。)

在许多 POSIX 系统上，当前的语言环境通常是 UTF-8，因为它为用户提供了几个优势，但这并不能保证。只是将 UTF-8 输出到 stdout通常是正确的，但并非总是如此。假设我使用的是 ISO-8859-2:如果你不经意间将 ISO-8859-1 "è"( 0xE8 ) 输出到我的终端，我会看到一个 "č"( 0xE8 )。同样，如果您输出 UTF-8 "è"( 0xC3 0xA8 )，我会看到 (ISO-8859-2) "è"( 0xC3 0xA8 )。这种错误字符的吐槽被称为 Mojibake .

通常，您只是在四处移动数据，这并不重要。当您需要序列化数据时，这通常会发挥作用。 (许多互联网协议(protocol)使用 UTF-8 或 UTF-16，例如:如果您从 ISO-8859-2 终端或以 Windows-1252 编码的文本文件获取数据，那么您必须对其进行转换，否则您将正在发送Mojibake。)

遗憾的是，这是关于 C 和 C++ 中 Unicode 支持的状态。您必须记住:这些语言实际上与系统无关，并且不绑定(bind)到任何特定的执行方式。这包括字符集。然而，有大量的库用于处理 Unicode 和其他字符集。

最后，实际上并没有那么复杂:知道您的数据采用什么编码，并知道您的输出应该采用什么编码。如果它们不一样，您需要进行转换。这适用于您是否使用 std::cout或 std::wcout .在我的示例中，stdin或 std::cin和 stdout/std::cout有时是 UTF-8，有时是 ISO-8859-2。