gpt4 book ai didi

python - 阅读 Python 中斯坦福NLP 输出的 Protobuf 序列化

转载 作者:行者123 更新时间:2023-12-01 03:42:08 27 4
gpt4 key购买 nike

我想在protobuf中输出StanfordNLP结果(因为它的大小要小得多)并用python读回结果。我该怎么做呢?

我按照指示here进行操作输出使用 ProtobufAnnotationSerializer 序列化的结果,如下所示:

java -cp "stanford-corenlp-full-2015-12-09/*" \
edu.stanford.nlp.pipeline.StanfordCoreNLP \
-annotators tokenize,ssplit \
-file input.txt \
-outputFormat serialized \
-outputSerializer \
edu.stanford.nlp.pipeline.ProtobufAnnotationSerializer

然后使用protoc将StanfordNLP源代码附带的CoreNLP.proto编译成Python模块,如下所示:

protoc --python_out=. CoreNLP.proto

然后在 python 中,我像这样读回文件:

import CoreNLP_pb2
doc = CoreNLP_pb2.Document()
doc.ParseFromString(open('input.txt.ser.gz', 'rb').read())

解析失败并出现以下错误消息

---------------------------------------------------------------------------
DecodeError Traceback (most recent call last)
<ipython-input-213-d8eaeb9c2048> in <module>()
1 doc = CoreNLP_pb2.Document()
----> 2 doc.ParseFromString(open('imed/s5_tokenized/conv-00000.ser.gz', 'rb').read())

/usr/local/lib/python2.7/dist-packages/google/protobuf/message.pyc in ParseFromString(self, serialized)
183 """
184 self.Clear()
--> 185 self.MergeFromString(serialized)
186
187 def SerializeToString(self):

/usr/local/lib/python2.7/dist-packages/google/protobuf/internal/python_message.pyc in MergeFromString(self, serialized)
1092 # The only reason _InternalParse would return early is if it
1093 # encountered an end-group tag.
-> 1094 raise message_mod.DecodeError('Unexpected end-group tag.')
1095 except (IndexError, TypeError):
1096 # Now ord(buf[p:p+1]) == ord('') gets TypeError.

DecodeError: Unexpected end-group tag.

更新:

我询问了连载器 Gabor Angeli 的作者并得到了答案。 protobuf 对象已写入 this line 中使用 writeDelimitedTo 的文件。将其更改为 writeTo 将使输出文件在 Python 中可读。

最佳答案

这个问题好像又出现了,所以我想我应该写一个正确的答案。问题的根源在于原型(prototype)是使用 Java 的 writeDelimitedTo 方法编写的,而 Google 尚未为 Python 实现该方法。解决方法是使用以下方法读取 proto 文件(假设该文件未经过 gzip 压缩 - 您可以将 f.read() 替换为适当的代码以根据需要解压缩文件):

from google.protobuf.internal.decoder import _DecodeVarint
import CoreNLP_pb2

def readCoreNLPProtoFile(protoFile):
protos = []
with open(protoFile, 'rb') as f:
# -- Read the file --
data = f.read()
# -- Parse the file --
# In Java. there's a parseDelimitedFrom() method that makes this easier
pos = 0
while (pos < len(data)):
# (read the proto)
(size, pos) = _DecodeVarint(data, pos)
proto = CoreNLP_pb2.Document()
proto.ParseFromString(data[pos:(pos+size)])
pos += size
# (add the proto to the list; or, `yield proto`)
protos.append(proto)
return protos

文件CoreNLP_pb2是从CoreNLP.proto编译而来的使用以下命令在存储库中创建文件:

protoc --python_out /path/to/output/ /path/to/CoreNLP.proto

请注意,在撰写本文时(版本 3.7.0),格式是 proto2,而不是 proto3。

关于python - 阅读 Python 中斯坦福NLP 输出的 Protobuf 序列化,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39433279/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com