nlp - 如何找到 spaCy 模型的词汇量大小？

Question

我试图找到大型英语模型的词汇量，即 en_core_web_lg ，我找到了三种不同的信息来源:

spaCy 的文档:685k 个键，685k 个唯一向量

nlp.vocab.__len__() : 1340242 # (词素数)

len(vocab.strings) : 1476045

三者有什么区别？我无法在文档中找到答案。

Answer 1

最有用的数字是与词向量相关的数字。 nlp.vocab.vectors.n_keys告诉你有多少词向量和 len(nlp.vocab.vectors)告诉您有多少个唯一的词向量(多个标记可以引用 md 模型中的同一个词向量)。
len(vocab)是缓存的词素数。在 md和 lg模型大部分 1340242词素具有一些预先计算的功能(如 Token.prob )，但在此缓存中可以有额外的词素而没有预先计算的功能，因为在处理文本时可以添加更多条目。
len(vocab.strings)是与标记和注释相关的字符串数量(如 nsubj 或 NOUN )，所以它不是一个特别有用的数字。训练或处理中任何地方使用的所有字符串都存储在这里，以便在需要时可以将内部整数哈希转换回字符串。