tokenize - 斯坦福 NLP 分词器

Question

如何使用斯坦福解析器在 java 类中标记字符串？

我只能找到 documentProcessor 和 PTBTokenizer 从外部文件获取文本的示例。

 DocumentPreprocessor dp = new DocumentPreprocessor("hello.txt");
   for (List sentence : dp) {
    System.out.println(sentence);
  }
  // option #2: By token

   PTBTokenizer ptbt = new PTBTokenizer(new FileReader("hello.txt"),
          new CoreLabelTokenFactory(), "");
  for (CoreLabel label; ptbt.hasNext(); ) {
    label = (CoreLabel) ptbt.next();
    System.out.println(label);
  }

谢谢。

Answer 1

PTBTokenizer 构造函数采用 java.io.Reader，然后您可以使用 StringReader 来解析文本