scala - 如何将一段中文文本分割成单个字符？

Question

我正在开展一个机器学习项目，我正在其中针对中文文本构建朴素贝叶斯分类器。我想使用汉字的 n 元语法作为特征，因此我需要能够将文本拆分为一元语法(单个字符)、二元语法(两个字符的序列)等。 (我不关心特殊的标记化等——我只想要原始字符作为 n-gram。)

如何在 Scala 中执行此操作？我尝试使用 text.sliding(2) 来获取二元组，但这似乎不太有效。 (我猜是因为中文字符不像英文那样是一个字节？)

Answer 1

总的来说，这是一个关于在 Java 中正确处理 Unicode 的问题，因此也是关于 Scala 中正确处理 Unicode 的问题。从我粗略地浏览互联网来看，似乎没有“一种真正的方法”来处理 Java 中的 Unicode。我不是 NLP 人员，所以我对您想要做什么的理解可能不正确。

val text = "囗土夊米"  

val unigrams = text.toCharArray 

/* With the constraint unigrams is even, without the toString you get weird coercions */
val bigrams = 
  for (i <- 0 until unigrams.length if i % 2 == 0) yield unigrams(i).toString + unigrams(i + 1)

类似的东西应该很容易推广到一组 n-gram 函数，这些函数将提取您需要的内容，当然这些都是简单的朴素实现。