python - 保持对象在 python 的另一个程序中使用它们

Question

我正在使用 word2vec 来计算两个词之间的相似度。所以对于模型，我使用的是 GoogleNews。该模型非常庞大，因此需要大量时间来加载。

model = Word2Vec.load_word2vec_format('D:/Userfiles/vsachidananda/Downloads/GoogleNews-vectors negative300.bin.gz', binary=True)

我想加载它并保存在一个变量/对象中，这样每当我运行一个 python 程序时，我都应该能够调用

model.similarity('word1','word2')

如何实现？有什么想法吗？

Answer 1

我知道在 Python 进程之间共享复杂对象的唯一方法是使用 multiprocessing.Manager。但是每次需要与子进程共享时，model 都会被pickled 和unpickled。我猜它会和 load_word2vec_format 一样慢。

您可以运行一个加载一次 model 的启动器，然后等待并按需执行另一个 python 脚本。一个非常简单的启动器看起来像这样:

import Word2Vec
model = Word2Vec.load_word2vec_format(...)

try:
    import traceback
    import script

    while True:
        raw_input()

        try:
            reload(script)
            script.main(model)
        except:
            print traceback.print_exc()

except KeyboardInterrupt:
    print 'exit launcher'

有了这个基本的启动器，script.py 应该在同一个文件夹中并且需要定义一个 main():

def main(model):
    model.similarity('word1','word2')
    ...