java - IOUtil 加载斯坦福移位归约解析器时出错

Question

我正在尝试将我的Stanford CoreNLP版本升级到最新版本(之前是v3.5.2，尝试升级到v3.6.0)。编译完 v3.6.0 所需的所有新 jar 后，我启动了一个独立的斯坦福 CoreNLP 服务器(使用 Apache Thrift v0.9.3)。

此外，我正在使用斯坦福大学的 Shift Reduce 解析器，可以在以下链接中找到它:Stanford Shift Reduce Parser 。我相信该模型的最新版本已于 2014 年 10 月 23 日发布。我特别需要的模型是 englishSR.beam.ser.gz(English Beam Search Shift Reduce Model)。

不幸的是，在运行我的新服务器(Stanford CoreNLP v3.6.0/Apache Thrift v0.9.3)时，日志显示错误:

Reading in configuration from scripts/config...
Initializing Parser...
Loading classifier from edu/stanford/nlp/models/ner/english.conll.4class.distsim.crf.ser.gz ... done [0.6 sec].
Loading classifier from edu/stanford/nlp/models/ner/english.muc.7class.distsim.crf.ser.gz ... done [0.5 sec].
Loading classifier from edu/stanford/nlp/models/ner/english.all.3class.distsim.crf.ser.gz ... done [1.5 sec].
Reading TokensRegex rules from edu/stanford/nlp/models/sutime/defs.sutime.txt
May 20, 2016 3:41:00 AM edu.stanford.nlp.ling.tokensregex.CoreMapExpressionExtractor appendRules
INFO: Read 83 rules
Reading TokensRegex rules from edu/stanford/nlp/models/sutime/english.sutime.txt
May 20, 2016 3:41:01 AM edu.stanford.nlp.ling.tokensregex.CoreMapExpressionExtractor appendRules
INFO: Read 267 rules
Reading TokensRegex rules from edu/stanford/nlp/models/sutime/english.holidays.sutime.txt
May 20, 2016 3:41:01 AM edu.stanford.nlp.ling.tokensregex.CoreMapExpressionExtractor appendRules
INFO: Read 25 rules
Reading POS tagger model from edu/stanford/nlp/models/pos-tagger/english-left3words/english-left3words-distsim.tagger ... done [0.4 sec].
03:41:01.566 [main] ERROR edu.stanford.nlp.io.IOUtils - Loading parser from serialized file edu/stanford/nlp/models/srparser/englishSR.beam.ser.gz ... 
done [10.4 sec].
Initializing Tokenizer...
The CoreNLP server is running...

相反，这是运行旧服务器(Stanford CoreNLP v3.5.2/Thrift v0.9.3)时看到的日志:

Reading in configuration from scripts/config...
Initializing Parser...
Loading classifier from edu/stanford/nlp/models/ner/english.conll.4class.distsim.crf.ser.gz ... done [1.3 sec].
Loading classifier from edu/stanford/nlp/models/ner/english.muc.7class.distsim.crf.ser.gz ... done [1.1 sec].
Loading classifier from edu/stanford/nlp/models/ner/english.all.3class.distsim.crf.ser.gz ... done [2.7 sec].
Initializing JollyDayHoliday for SUTime from classpath: edu/stanford/nlp/models/sutime/jollyday/Holidays_sutime.xml as sutime.binder.1.
Reading TokensRegex rules from edu/stanford/nlp/models/sutime/defs.sutime.txt
Reading TokensRegex rules from edu/stanford/nlp/models/sutime/english.sutime.txt
Reading TokensRegex rules from edu/stanford/nlp/models/sutime/english.holidays.sutime.txt
Reading POS tagger model from edu/stanford/nlp/models/pos-tagger/english-left3words/english-left3words-distsim.tagger ... done [0.5 sec].
Loading parser from serialized file edu/stanford/nlp/models/srparser/englishSR.beam.ser.gz ... done [9.8 sec].
Adding annotator dcoref
Initializing Tokenizer...
The CoreNLP server is running...

如您所见，新服务器在尝试加载 srparser 时出错，并且最终没有“添加注释器 dcoref”。我没有修改任何其他文件，并且不确定是什么导致了差异。目前正在寻找斯坦福核心 NLP 属性文件，但我将不胜感激有关此问题的任何帮助。提前致谢!

Answer 1

我运行了这个命令，没有出现任何问题:

java -Xmx6g -cp "stanford-corenlp-full-2015-12-09/*:stanford-english-corenlp-2016-01-10-models.jar" edu.stanford.nlp.pipeline.StanfordCoreNLP -annotators tokenize,ssplit,pos,lemma,ner,parse -file sample-text.txt -outputFormat text -parse.model edu/stanford/nlp/models/srparser/englishSR.beam.ser.gz

这是使用斯坦福 CoreNLP 3.6.0 的发行版和我们使用的最新模型 jar。

确保仅使用这些 jar，并且仅使用这些 jar，如果您的 CLASSPATH 中存在旧版本的内容，可能会导致兼容性问题，从而导致无法正常工作。

需要明确的是，该发行版附带了一个标准模型 jar，其中包含一些使用该工具包的基本内容。另外还有英文模型 jar，它很大并且包含所有英文资源。

英语移位归约解析器模型都在我们现在分发的英语模型 jar 中，其中包含所有英语资源。这是获取标准 jar 中不可用的英语资源的推荐方法。我可能需要更新一些页面以反射(reflect)此信息。旧的 Shift-Reduce 模型 jar 可能与 3.6.0 不兼容，我会调查。

所有这些内容都可以在这里找到:http://stanfordnlp.github.io/CoreNLP/download.html

如果您仍然遇到问题，请告诉我，并让我知道导致问题的 jar 来自哪里，我将进行调查。但是，如果您使用从上面的链接下载的资源运行该命令，它应该可以正常工作。