python - 如何在Python中使用多重处理生成大型语料库的tfdf？

Question

我想生成大型语料库的术语频率和文档频率。有一些库可以这样做，但它们没有我想要的那么灵活。这就是我目前正在做的事情，但只有一个过程。如何通过使用多处理来加速此练习？谢谢你!

#txtfiles is a list of file paths

def get_tf_df(txtfiles, tf_dict, df_dict):

    for txtfile in txtfiles:
        tokens = get_tokens(txtfile)
        for t in tokens:
            update tf_dict (I know this part) 
            update df_dict (I know this part) 

    return tf_dict, df_dict

Answer 1

您可以使用 pool工作进程和一个 Manager 实例来管理对工作进程之间共享的 tf_dict 和 df_dict 字典的访问:

import glob
import multiprocessing as mp

from utils import get_tokens, update_tf, update_df, save_dicts

WORKERS = 4

def update_dicts(filename, tf_dict, df_dict):
    tokens = get_tokens(filename)

    for tok in tokens:
        update_tf(tok, tf_dict)
        update_df(tok, df_dict)

def main():
    manager = mp.Manager()

    tf_dict = manager.dict()
    df_dict = manager.dict()

    pool = mp.Pool(WORKERS)

    for filename in glob.glob('/path/to/texts/*.txt'):
        pool.apply_async(update_dicts, args=(filename, tf_dict, df_dict))

    pool.close()
    pool.join()

    save_dicts(tf_dict, df_dict)

if __name__ == "__main__":
    main()