- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在处理大量短文本,需要对其进行注释并保存到磁盘。理想情况下,我想将它们保存/加载为 spaCy Doc 对象。显然,我不想多次保存 Language
或 Vocab
对象(但很乐意为 Doc
集合保存/加载一次) >s)。
Doc
对象有一个 to_disk
方法和一个 to_bytes
方法,但对我来说如何保存一堆文档并不是很明显到同一个文件。有这样做的首选方法吗?我正在寻找尽可能节省空间的东西。
目前我正在这样做,但我对此不太满意:
def serialize_docs(docs):
"""
Writes spaCy Doc objects to a newline-delimited string that can be used to load them later,
given the same Vocab object that was used to create them.
"""
return '\n'.join([codecs.encode(doc.to_bytes(), 'hex') for doc in docs])
def write_docs(filename, docs):
"""
Writes spaCy Doc objects to a file.
"""
serialized_docs = seralize_docs(docs)
with open(filename, 'w') as f:
f.write(serialized_docs)
最佳答案
从 Spacy 2.2 开始,正确答案是使用 DocBin .
作为Spacy docs现在说,
If you’re working with lots of data, you’ll probably need to pass analyses between machines, either to use something like Dask or Spark, or even just to save out work to disk. Often it’s sufficient to use the Doc.to_array functionality for this, and just serialize the numpy arrays – but other times you want a more general way to save and restore Doc objects.
The DocBin class makes it easy to serialize and deserialize a collection of Doc objects together, and is much more efficient than calling Doc.to_bytes on each individual Doc object. You can also control what data gets saved, and you can merge pallets together for easy map/reduce-style processing.
示例
import spacy
from spacy.tokens import DocBin
doc_bin = DocBin(attrs=["LEMMA", "ENT_IOB", "ENT_TYPE"], store_user_data=True)
texts = ["Some text", "Lots of texts...", "..."]
nlp = spacy.load("en_core_web_sm")
for doc in nlp.pipe(texts):
doc_bin.add(doc)
bytes_data = doc_bin.to_bytes()
# Deserialize later, e.g. in a new process
nlp = spacy.blank("en")
doc_bin = DocBin().from_bytes(bytes_data)
docs = list(doc_bin.get_docs(nlp.vocab))
关于python - 序列化 spaCy 文档集合的推荐方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49618917/
我有一段文本和索引条目,其中一些指示出现在文本中的重要多词表达 (MWE)(例如生物学文本的“海绵骨”)。我想使用这些条目在 spaCy 中构建自定义匹配器,以便我可以识别文本中出现的 MWE。一个附
我想在 Spacy 中使用德语 lemmatizer,但我对结果感到非常惊讶: import spacy nlp = spacy.load("de_dep_news_trf") [token.lemm
要将我的句子拆分为标记,我正在执行以下操作,这很慢 import spacy nlp = spacy.load("en_core_web_lg") text = "This is a test.
我已经使用空间很长一段时间了,我真的很喜欢这种置换 有没有一种方法可以让我们在网页中从我的数据集中提供多个文本,如一个小箭头,以重定向到下一条记录并标记实体。 我使用的代码如下。 def valida
我有变量 trainData它具有以下简化格式。 [ ('Paragraph_A', {"entities": [(15, 26, 'DiseaseClass'), (443, 449, 'Disea
我正在尝试测试在另一台计算机上运行的模型,但是当我尝试将其导入我的笔记本时,出现以下错误:ModuleNotFoundError:没有名为“spacy.pipeline.pipes”的模块; 'spa
我正在尝试测试在另一台计算机上运行的模型,但是当我尝试将其导入我的笔记本时,出现以下错误:ModuleNotFoundError:没有名为“spacy.pipeline.pipes”的模块; 'spa
当处理数百万文档并将它们保存为空间文档以供以后使用(更多处理、可视化、提取特征)时,一种明显的扩展解决方案是并行/分布式处理。这意味着每个并行进程都将拥有自己的 Vocab,这些 Vocab 可能会随
我正在使用 Spacy 大型模型,但它错误地使用与我的领域无关的类别标记实体,例如“艺术作品”可能导致它无法识别本应属于组织的内容。 是否可以限制 NER 仅返回人员、位置和组织? 最佳答案 简答:
我正在像这样使用 SpaCy 创建一个短语匹配器: import spacy from spacy.matcher import PhraseMatcher nlp = spacy.load("en"
我正在尝试使用 spaCy Matcher 工作获得以下简单示例: import en_core_web_sm from spacy.matcher import Matcher nlp = en_c
它没有出现在 pip list zeke$ pip list | grep spacy spacy (1.7.3) 如何获取模型名称? 我试过了,还是不行 echo "spaCy model:" py
我在 "Training an additional entity type" 中有新 NER 类型的训练数据spaCy 文档的部分。 TRAIN_DATA = [ ("Horses are
给定一个 token ,它是具有多个 token 的命名实体的一部分,是否有直接方法来获取该实体的跨度? 例如,考虑这个有两个词命名实体的句子: >>> doc = nlp("This year wa
如何限制 Spacy 使用的 CPU 数量? 我想从大量句子中提取词性和命名实体。由于 RAM 的限制,我首先使用 Python NLTK 将我的文档解析为句子。然后我遍历我的句子并使用 nlp.pi
显然 for doc in nlp.pipe(sequence) 比运行 for el in order: doc = nlp(el) .. 我遇到的问题是我的序列实际上是一个元组序列,其中包含用于将
显然 for doc in nlp.pipe(sequence) 比运行 for el in order: doc = nlp(el) .. 我遇到的问题是我的序列实际上是一个元组序列,其中包含用于将
我已经下载了 spaCy,但每次尝试 nlp = spacy.load("en_core_web_lg") 命令时,我都会收到此错误: OSError:[E050] 找不到模型“en_core_web
到目前为止,我一直在使用 spacy 2.3.1,并为我的自定义语言类(class)训练并保存了几个管道。但是现在使用 spacy 3.0 和 spacy.load('model-path') 我遇到
我安装了 spacy 使用 python3 install spacy 并使用下载了两个英文模型 python3 -m spacy download en 和 python3 -m spacy dow
我是一名优秀的程序员,十分优秀!