python - 是否有其他方法可以将预先训练的词嵌入完全加载到内存中？

Question

我想在我的机器学习模型中使用预先训练的词嵌入。我的词嵌入文件大约有 4GB。目前，我将整个文件读入字典的内存中，每当我想将单词映射到其向量表示时，我都会在该字典中执行查找。

内存使用率非常高，我想知道是否有另一种方法可以使用词嵌入而不将整个数据加载到内存中。

我最近在 Python 中遇到了生成器。他们可以帮助我减少内存使用吗？

谢谢!

Answer 1

您想要完成什么任务？如果这是基于相似性的任务，您可以简单地使用 gensim 中的 load_word2vec_format 方法，这允许您传入加载向量数量的限制。像 Googlenews 这样的集合中的向量是按频率排序的，这将为您提供关键向量。这在理论上也是有道理的，因为频率较低的单词通常具有相对较差的表征。