c++ - 在 Linux 中将 std::string 转换为 Unicode

Question

编辑 在意识到问题一开始是错误的之后，我修改了问题。

我正在将 C# 应用程序的一部分移植到 Linux，我需要在其中获取 UTF-16 字符串的字节:

string myString = "ABC";
byte[] bytes = Encoding.Unicode.GetBytes(myString);

因此 bytes 数组现在是:

"65 00 66 00 67 00" (bytes)

如何在 Linux 上用 C++ 实现相同的功能？我有一个定义为 std::string 的 myString，Linux 上的 std::wstring 似乎是 4 个字节？

Answer 1

你的问题不是很清楚，但我会尽力澄清一些困惑。

简介

在 C 标准的 '95 修正案之后，C 中字符集的处理状态(C++ 继承了这一点)。

• 使用的字符集由当前语言环境给定

• wchar_t是用来存放码位的

• char 用于存储多字节编码形式(例如一个约束是基本字符集中的字符必须编码为一个字节)

• 字符串文字以实现定义的方式编码。如果他们使用基本字符集之外的字符，您不能假定它们在所有语言环境中都有效。

因此，对于 16 位的 wchar_t，您只能使用 BMP。使用 UTF-16 的代理是不合规的，但我认为 MS 和 IBM 或多或少被迫这样做，因为他们相信 Unicode，当他们说他们将永远是 16 位字符集时。那些推迟 Unicode 支持的人倾向于使用 32 位 wchar_t。

较新的标准变化不大。大多数情况下，有用于 UTF-8、UTF-16 和 UTF-32 编码字符串的文字，还有用于 16 位和 32 位字符的类型。标准库中对 Unicode 的额外支持很少或没有。

如何将一种编码转换为另一种编码

您必须在使用 Unicode 的语言环境中。希望

std::locale::global(locale(""));

就足够了。如果不是，则您的环境设置不正确(或设置为另一个字符集并假设 Unicode 不会为您的用户提供服务。)。

C 风格

使用wcstomsb 和mbstowcs 函数。这是您所问内容的示例。

std::string narrow(std::wstring const& s)
{
    std::vector<char> result(4*s.size() + 1);
    size_t used = wcstomsb(&result[0], s.data(), result.size());
    assert(used < result.size());
    return result.data();
}

C++ 风格

语言环境的 codecvt 方面提供了所需的功能。优点是您不必更改全局语言环境即可使用它。不方便的是使用比较复杂。

#include <locale>
#include <iostream>
#include <string>
#include <vector>
#include <assert.h>
#include <iomanip>

std::string narrow(std::wstring const& s,
                   std::locale loc = std::locale())
{
    std::vector<char> result(4*s.size() + 1);
    wchar_t const* fromNext;
    char* toNext;
    mbstate_t state = {0};
    std::codecvt_base::result convResult
        = std::use_facet<std::codecvt<wchar_t, char, std::mbstate_t> >(loc)
        .out(state,&s[0], &s[s.size()], fromNext,
             &result[0], &result[result.size()], toNext);

    assert(fromNext == &s[s.size()]);
    assert(toNext != &result[result.size()]);
    assert(convResult == std::codecvt_base::ok);
    *toNext = '\0';

    return &result[0];
}

std::wstring widen(std::string const& s,
                   std::locale loc = std::locale())
{
    std::vector<wchar_t> result(s.size() + 1);
    char const* fromNext;
    wchar_t* toNext;
    mbstate_t state = {0};
    std::codecvt_base::result convResult
        = std::use_facet<std::codecvt<wchar_t, char, std::mbstate_t> >(loc)
        .in(state, &s[0], &s[s.size()], fromNext,
            &result[0], &result[result.size()], toNext);

    assert(fromNext == &s[s.size()]);
    assert(toNext != &result[result.size()]);
    assert(convResult == std::codecvt_base::ok);
    *toNext = L'\0';

    return &result[0];
}

您应该通过更好的处理来替换断言。

顺便说一句，这是标准的 C++，不假定 Unicode 除了结果大小的计算，你可以通过检查 convResult 来做得更好，它可以指示部分转换)。