python - 在 SpaCy v1.1.2 中加载以前保存的 NER 模型

Question

因此，每当我尝试为 SpaCy NER 加载以前保存的模型时，我都会得到一个核心转储。

if os.path.isfile( model_path ):
    ner.model.load( model_path )
for itn in range( 5 ):
    random.shuffle( TRAIN_DATA )
    for raw_text, entity_offsets in TRAIN_DATA:
        doc = nlp.make_doc( raw_text )
        gold = GoldParse( doc, entities=entity_offsets )
        ner.update( doc, gold ) # <- Core dump occurs here

转储报告:

7fb1b7459000-7fb1b7499000 rw-p 00000000 00:00 0 [1]    23967 abort (core dumped)

我做错/加载错了吗？

Answer 1

编辑:原来我不需要加载模型来更新它，我需要做的就是删除

if os.path.isfile( model_path ):
    ner.model.load( model_path )

并添加

ner.model.dump( model_path )

最后是这样的:

for itn in range( 5 ):
random.shuffle( TRAIN_DATA )
for raw_text, entity_offsets in TRAIN_DATA:
    doc = nlp.make_doc( raw_text )
    gold = GoldParse( doc, entities=entity_offsets )
    ner.update( doc, gold ) 
ner.model.dump( model_path )

为了让它附加到之前保存的数据。一切顺利!