python - 以数据框为输入的模型上的多处理

Question

我想在模型上使用多处理，以使用数据框作为输入来获得预测。我有以下代码:

def perform_model_predictions(model, dataFrame, cores=4): 
    try:
        with Pool(processes=cores) as pool:
            result = pool.map(model.predict, dataFrame)
            return result
        # return model.predict(dataFrame)
    except AttributeError:
        logging.error("AttributeError occurred", exc_info=True)

我得到的错误是:

raise TypeError("sparse matrix length is ambiguous; use getnnz()"
TypeError: sparse matrix length is ambiguous; use getnnz() or shape[0]

我认为问题在于我将数据框作为第二个参数传递给 pool.map 函数。任何建议或帮助将不胜感激。

Answer 1

诀窍是将您的数据框分成 block 。 map 需要一个将由 model.predict 处理的对象列表。这是一个完整的工作示例，模型显然被 mock 了:

import numpy as np
import pandas as pd
from multiprocessing import Pool

no_cores = 4

large_df = pd.concat([pd.Series(np.random.rand(1111)), pd.Series(np.random.rand(1111))], axis = 1)
chunk_size = len(large_df) // no_cores + no_cores
chunks = [df_chunk for g, df_chunk in large_df.groupby(np.arange(len(large_df)) // chunk_size)]

class model(object):
    @staticmethod
    def predict(df):
        return np.random.randint(0,2)

def perform_model_predictions(model, dataFrame, cores): 
    try:
        with Pool(processes=cores) as pool:
            result = pool.map(model.predict, dataFrame)
            return result
        # return model.predict(dataFrame)
    except AttributeError:
        logging.error("AttributeError occurred", exc_info=True)

perform_model_predictions(model, chunks, no_cores)

请注意，此处选择的 block 数应与核心数(或您要分配的任何数量)相匹配。通过这种方式，每个核心都得到了公平的份额，并且 multiprocessing 不会在对象序列化上花费太多时间。

如果您想单独处理每一行 (pd.Series)，那么花在序列化上的时间可能是一个问题。在这种情况下，我建议使用 joblib 并阅读其各种后端的文档。我没有在上面写，因为你似乎想在 pd.Dataframe 上调用预测。

额外警告

multiprocessing 可能不会让你获得更好的性能，反而会使它变得更糟。当您的 model.predict 调用本身生成线程的外部模块时，这种情况很少见。我写了关于这个问题 here .长话短说，joblib 又是一个答案。