c++ - 使用 UTF8CPP 时如何检测空格或数字？

Question

这是我的代码:

std::vector<std::string> InverseIndex::getWords(std::string line)
{
  std::vector<std::string> words;

  char* str = (char*)line.c_str();
  char* end = str + strlen(str) + 1;
  unsigned char symbol[5] = {0,0,0,0,0};

  while( str < end ){
    utf8::uint32_t code = utf8::next(str, end);
    if(code == 0) continue;
    utf8::append(code, symbol);
    // TODO detect white spaces or numbers.
    std::string word = (const char*)symbol;
    words.push_back(word);
  }

  return words;
}

---

Input : "你 好 啊 哈哈 1234"

Output : 
你
??
好
 ??
啊
 ??
哈
哈
 ??
1??
2??
3??
4??

Expected output : 
你
好
啊
哈
哈

有没有办法跳过空格或数字，谢谢？

Answer 1

UTF8-CPP 只不过是一种将字符串编码和解码为 UTF-8 的工具。 Unicode 代码点的分类很好在该工具的范围之外。为此，您需要使用像 Boost.Locale 或 ICU 这样的专业本地化工具。