python-2.7 - 加载 freebase-skipgram 模型时 Word2vec 中的内存错误

Question

我正在尝试使用 word2vec 并使用 freebase skip gram 模型。但由于内存错误，我无法加载模型。

这是相同的代码片段:

model = gensim.models.Word2Vec()
model = models.Word2Vec.load_word2vec_format('freebase-vectors-skipgram1000.bin.gz', binary=True)

我收到以下错误:

MemoryError                               Traceback (most recent call last)
<ipython-input-40-a1cfacf48c94> in <module>()
      1 model = gensim.models.Word2Vec()
----> 2 model = models.Word2Vec.load_word2vec_format('freebase-vectors-skipgram1000.bin.gz', binary=True)

/../../word2vec.pyc in load_word2vec_format(cls, fname, fvocab, binary, norm_only)
    583             vocab_size, layer1_size = map(int, header.split())  # throws for invalid file format
    584             result = Word2Vec(size=layer1_size)
--> 585             result.syn0 = zeros((vocab_size, layer1_size), dtype=REAL)
    586             if binary:
    587                 binary_len = dtype(REAL).itemsize * layer1_size

MemoryError: 

但同样的事情也适用于使用以下代码的谷歌新闻:

model = gensim.models.Word2Vec()
model = models.Word2Vec.load_word2vec_format('GoogleNews-vectors-negative300.bin.gz', binary=True)

我无法理解为什么。是不是 freebase 比 google news 需要更多的内存？我觉得不应该这样。我在这里遗漏了什么吗？

Answer 1

我想通了，这是由于 freebase 的内存需求。当在 8gb 机器上运行其他 ipython 笔记本时，这给了我错误。关闭所有其他进程和其他笔记本让我终于可以加载它了!