java - 确定用户感知字符数的正确算法是什么？

Question

我的任务是计算输入中感知到的字符数。输入是一组 整数(我们可以将其视为 int[])，表示 Unicode 代码点。

java.text.BreakIterator.getCharacterInstance()不被允许。 (我的意思是他们的公式是允许的，也是我想要的，但是浏览他们的源代码和状态表让我无处可去 >.<)

我想知道在给定一些代码点的情况下计算字素簇数量的正确算法是什么？

Initially ，我认为我所要做的就是将所有出现的情况结合起来:

1. U+0300 – U+036F(组合变音符号)

2. U+1DC0 – U+1DFF(组合变音符补充)

3. U+20D0 – U+20FF(组合符号的变音符)

4. U+FE20 - U+FE2F(组合半分)

进入前一个非变音符号。

但是我已经realised在该操作之前，我还必须首先删除所有非字符。

这包括:

1. U+FDD0 - U+FDEF

2. 每个平面的最后两个码位

但似乎还有更多的事情要做。 Unicode.org说明我们需要将 U+200C(零宽度非连接符)和 U+200D(零宽度连接符)作为连续字符集的一部分 (source) .

除此之外，它还讨论了更多内容，但整个主题都以抽象的方式处理。例如，间距组合标记、构成韩文音节的韩文拼音字符的代码点范围是多少？

有谁知道在给定 int[] 代码点的情况下计算字素簇数量的正确算法？

Answer 1

没有一种适用于所有用途的规范方法，但您链接到的 Unicode.org 页面上的 Unicode Grapheme Cluster Boundary 算法是一个很好的起点。基本上，Unicode 提供了每个代码点的字素中断属性的数据库，然后描述了一种算法，根据分配给两个代码点的字素中断属性来决定是否允许在两个代码点之间进行字素中断。

这是我刚才玩过的一个实现的一部分(在 C++ 中):

bool BoundaryAllowed(char32_t cp, char32_t cp2) {
  // lbp: left break property; rbp: right break property
  auto lbp = get_property_for_codepoint(cp),
       rbp = get_property_for_codepoint(cp2);

  // Do not break between a CR and LF. Otherwise, break before and after
  // controls.
  if ((CR == lbp && LF == rbp)) {
    // The Unicode grapheme boundary algorithm does not handle LFCR new lines
    return false;
  }

  if (Control == lbp || CR == lbp || LF == lbp || Control == rbp || CR == rbp ||
      LF == rbp) {
    return true;
  }

  // Do not break Hangul syllable sequences.
  if ((L == lbp && (L == rbp || V == rbp || LV == rbp || LVT == rbp)) ||
      ((LV == lbp || V == lbp) && (V == rbp || T == rbp)) ||
      ((LVT == lbp || T == lbp) && (T == rbp))) {
    return false;
  }

  // Do not break before extending characters.
  if (Extend == rbp) {
    return false;
  }

  // Do not break before SpacingMarks, or after Prepend characters.
  if (Prepend == lbp || SpacingMark == rbp) {
    return false;
  }

  return true; // Otherwise, break everywhere.
}

为了获得不同类型代码点的范围，您只需查看 Unicode 字符数据库。具有字素中断属性的文件，根据范围描述它们，长约 1200 行:http://www.unicode.org/Public/6.1.0/ucd/auxiliary/

我不太确定忽略非字符代码点有多大值(value)，但如果您的使用需要它，那么您可以将其添加到您的实现中。