java - 如何在 OpenNLP 中使用自定义分割字符扩展 SentenceDetector？

Question

我正在尝试在句子检测器模型(OpenNLP)中添加自定义功能。默认情况下，它根据这些字符进行检测。, ? !.我想添加一个新角色，以便我的模型能够基于该角色进行检测。

你能建议我如何实现吗？

Answer 1

对于OpenNLP 1.6.0您可以使用SentenceDetectorFactory。它的构造函数允许您注入(inject)自定义句尾 (eos) 字符(请参阅 JavaDoc ):

SentenceDetectorFactory(String languageCode, boolean useTokenEnd, Dictionary abbreviationDictionary, char[] eosCharacters)

结合SentenceDetectorME，我们在相应的 JavaDoc 中有此提示。 :

public SentenceDetectorME(SentenceModel model, Factory factory)

Deprecated. Use a SentenceDetectorFactory to extend SentenceDetector functionality.

因此，您可以通过使用自定义 SentenceDetectorFactory 的交换实例扩展 SentenceDetectorME 来实现您自己的 SentenceDetector 实现> 然后使用其他字符来检测句子结尾。

希望有帮助。