nlp - Stanford coreNLP - 忽略撇号的拆分词

Question

我正在尝试使用 Stanford coreNLP 将句子拆分为单词。我对包含撇号的单词有疑问。

例如，句子:我今年 24 岁。

像这样拆分:[我]['][24][岁][老]

是否可以使用 Stanford coreNLP 像这样拆分它？:[我] [24] [岁] [老]

我试过使用 tokenize.whitespace，但它不会拆分其他标点符号，例如:'?'和'，'

Answer 1

目前，没有。后续的Stanford CoreNLP处理工具都是用Penn Treebank tokenization ，它将收缩分成两个标记(将“我是”视为“我是”的简化形式，将它变成两个“词”[I] ['m])。听起来您想要一种不同类型的标记化。

虽然有一些标记化选项，但没有一个可以改变这一点，如果不拆分收缩，后续工具(如 POS 标记器或解析器)将无法正常工作。您可以向分词器添加这样的选项，更改(删除)对 REDAUX 和 SREDAUX 尾随上下文的处理。

您也可以按照@dhg 的建议通过后处理加入缩略语，但您希望在“if”中更仔细地进行操作，这样它就不会加入引号。