c++ - boost split 不能拆分中文句子

Question

我有一个中文句子，我想用中文标点符号拆分它。但它失败了。我在文件中使用了 utf-8 编码。

std::string src = "使用boost split失败了，不知道什么原因。有人可以告诉我吗？谢谢！";

boost::split(results, src, boost::is_any_of(",.，。"));

分割结果为:

["使用boost split失败了", "", "", "不知道�", "么原因", "", "", "有人可以告诉我吗", "", "�谢谢", "", "�"]

boost split 不能拆分中文单词？有人可以告诉我原因吗？谢谢。

Answer 1

我发现 C++11 正则表达式可以解决这个问题:

std::regex regex("，|。|！|？");
std::string src = "使用boost split失败了，不知道什么原因。有人可以告诉我吗？谢谢！";

std::sregex_token_iterator iterator(src.begin(), src.end(), regex, -1);
std::sregex_token_iterator end;

for ( ; iterator != end; ++iterator) {
    std::string res = *iterator;
    std::cout << res << std::endl;
}

results:
使用boost split失败了
不知道什么原因
有人可以告诉我吗
谢谢

为什么boost不能？我是不是用错了方法？