python - 宽敞的管道？

Question

所以最近我一直在玩 WikiDump。我对其进行了预处理并在 Word2Vec + Gensim 上对其进行了训练

有谁知道 Spacy 中是否只有一个脚本会生成记号化、句子识别、词性标注、词形还原、依赖解析和命名实体识别同时进行

我没能找到明确的文档谢谢

Answer 1

Spacy 只需使用 en_nlp = spacy.load('en'); 即可为您提供所有这些doc=en_nlp(句子)。 documentation为您提供有关如何访问每个元素的详细信息。

例子如下:

In [1]: import spacy
   ...: en_nlp = spacy.load('en')

In [2]: en_doc = en_nlp(u'Hello, world. Here are two sentences.')

可以使用doc.sents获取句子:

In [4]: list(en_doc.sents)
Out[4]: [Hello, world., Here are two sentences.]

名词 block 由 doc.noun_chunks 给出:

In [6]: list(en_doc.noun_chunks)
Out[6]: [two sentences]

Named entity由 doc.ents 给出:

In [11]: [(ent, ent.label_) for ent in en_doc.ents]
Out[11]: [(two, u'CARDINAL')]

标记化:您可以遍历文档以获取标记。 token.orth_ 给出 token 的 str。

In [12]: [tok.orth_ for tok in en_doc]
Out[12]: [u'Hello', u',', u'world', u'.', u'Here', u'are', u'two', u'sentences', u'.']

POS由token.tag_给出:

In [13]: [tok.tag_ for tok in en_doc]
Out[13]: [u'UH', u',', u'NN', u'.', u'RB', u'VBP', u'CD', u'NNS', u'.']

词形还原:

In [15]: [tok.lemma_ for tok in en_doc]
Out[15]: [u'hello', u',', u'world', u'.', u'here', u'be', u'two', u'sentence', u'.']

依赖解析。您可以使用 token.dep_ token.rights 或 token.lefts 遍历解析树。您可以编写一个函数来打印依赖项:

In [19]: for token in en_doc:
    ...:     print(token.orth_, token.dep_, token.head.orth_, [t.orth_ for t in token.lefts], [t.orth_ for t in token.rights])
    ...:     
(u'Hello', u'ROOT', u'Hello', [], [u',', u'world', u'.'])
(u',', u'punct', u'Hello', [], [])
(u'world', u'npadvmod', u'Hello', [], [])
...

有关更多详细信息，请参阅 spacy 文档。