python - spacy nlp - 哪些算法，spacy NLP 的 api 不是线程安全的？

Question

Spacy NLP 的所有算法和 API 都是线程安全的吗？

如果不是，那么哪些不是线程安全的？

如果是，我们可以指定线程池大小吗？

Answer 1

我的理解是，使用 python 多处理创建的 worker 具有按值传递的属性，这意味着标记/解析模型是重复的。所以，多线程淡化了提高效率的整个目的

相反，请考虑调用 nlp.pipe，这是对 spaCy 管道的多线程调用，而不是对 nlp 的多线程调用。

    for doc in nlp.pipe(texts, n_threads=16, batch_size=10000):
        #do something to process the doc