nlp - Gensim - 使用 GoogleNews 向量模型的内存错误

Question

当我使用 GoogleNews-vectors-negative300.bin 或尝试使用带有维基百科数据集语料库的 Gensim 训练模型时出现内存错误。(1 GB)。我的系统中有 4GB 内存。有什么办法可以绕过这个。

我们可以将它托管在像 AWS 这样的云服务上以获得更快的速度吗？

Answer 1

4GB 对于那个向量集来说非常紧张；你应该有 8GB 或更多来加载全套。或者，您可以使用 load_word2vec_format() 的可选 limit 参数来仅加载一些向量。例如，limit=500000 将只加载前 500,000 个(而不是全部 300 万个)。由于该文件似乎将出现频率更高的标记放在首位，因此对于许多用途来说这可能就足够了。