nlp - 在 spacy 中读取文本文件的语料库

Question

我看到的所有使用 spacy 的示例都只是在一个文本文件(很小)中读取。
如何将文本文件的语料库加载到 spacy 中？

我可以通过腌制语料库中的所有文本来使用 textacy 来做到这一点:

docs =  textacy.io.spacy.read_spacy_docs('E:/spacy/DICKENS/dick.pkl', lang='en')

for doc in docs:
    print(doc)

但我不清楚如何使用这个生成器对象(文档)进行进一步分析。

另外，我宁愿使用 spacy，而不是 textacy。

spacy 也无法读取大的单个文件(约 2000000 个字符)。

任何帮助表示赞赏...

拉维

Answer 1

您只需一次读取一个文件。这是我通常对我的语料库文件做的事情:

import glob
import spacy
nlp = spacy.load("en_core_web_sm")
path = 'your path here\\*.txt'

for file in glob.glob(path):
    with open(file, encoding='utf-8', errors='ignore') as file_in:
        text = file_in.read()
        lines = text.split('\n')
        for line in lines:
            line = nlp(line)
            for token in line:
                print(token)