c++ - 使用 Boost.Locale 库检索代码点

Question

我想从给定的 Unicode 字符串中检索 code points 的列表组成字符串。为此，我从 Boost 的 character iteration example 中复制了以下示例:

#include <boost/locale.hpp>

using namespace boost::locale::boundary;

int main()
{
    boost::locale::generator gen;
    std::string text = "To be or not to be";

    // Create mapping of text for token iterator using global locale.
    ssegment_index map(character, text.begin(), text.end(), gen("en_US.UTF-8"));

    // Print all "words" -- chunks of word boundary
    for (ssegment_index::iterator it = map.begin(), e = map.end(); it != e; ++it) {
        std::cout <<"\""<< * it << "\", ";
    }
    std::cout << std::endl;

    return 0;
}

它返回像这样的字符(根据 Boost 的文档，这些字符与代码点不同):

"T", "o", " ", "b", "e", " ", "o", "r", " ", "n", "o", "t", " ", "t", "o", " ", "b", "e",

我在 boost::locale::util::base_converter class 中读到过使用 to_unicode 函数您可以检索给定字符串的代码点。但我不确定如何。我尝试了以下代码，但没有帮助:

for (ssegment_index::iterator it = map.begin(), e = map.end(); it != e; ++it) {
    std::cout << "\"" << * it << "\", ";
    boost::locale::util::base_converter encoder_decoder;
    virtual uint32_t test1 = encoder_decoder.to_unicode(it->begin(), it->end() );
}

它返回“类型不匹配”错误。我认为 to_unicode() 函数的参数必须有所不同

我正在考虑仅使用 Boost 来检索 code points 而不是像 here 这样的现有解决方案或 here因为 Boost 提供了许多有用的函数来识别各种语言中的换行符、分词符、等。

Answer 1

要获取代码点，您可以使用 boost::u8_to_u32_iterator。这是因为 UTF-32 字符等于其代码点。

#include <boost/regex/pending/unicode_iterator.hpp>
#include <string>
#include <iostream>

void printCodepoints(std::string input) {
    for(boost::u8_to_u32_iterator<std::string::iterator> it(input.begin()), end(input.end()); it!=end; ++it)
        std::cout <<"\""<< * it << "\", ";
}

int main() {
    printCodepoints("Hello World!");
    return 0;
}