python-3.x - python并行读取csv文件并连接数据框

Question

我有一个应用程序可以读取 50 个大型 csvs 文件，每个文件大约 400MB。现在我正在阅读这些以创建一个数据框并最终将所有这些连接成一个数据框。我想并行执行此操作以加快整个过程。所以我下面的代码看起来像这样:

import numpy as np
import pandas as pd
from multiprocessing.pool import ThreadPool
from time import time 

Class dataProvider:
    def __init__(self):
        self.df=pd.DataFrame()
        self.pool = ThreadPool(processes=40)
        self.df_abc=pd.DataFrame()
        self.df_xyz=pd.DataFrame()
        self.start=time()

     def get_csv_data(self,filename):
        return pd.read_csv(filename)

     def get_all_csv_data(self,filename):
         self.start=time()
         df_1 = self.pool.apply_sync(self.get_csv_data,('1.csv',), callback=concatDf)
         df_2 = self.pool.apply_sync(self.get_csv_data,('2.csv',), callback=concatDf)
         total_time=time()-self.start

     def concatDf(self):
         self.df_abc=pd.concat([df_1,df_2])
         self.df_xyz=self.df_abc.iloc[:,1:]
         return self.df_xyz

我看到下面的代码有问题:

1. 如果我的 apply_sync 调用调用了相同的回调，那么我如何知道当前回调已被上面 df_1 行或 df_2 中的哪个调用调用？2)我想连接不同apply_sync的输出，我该如何在concatDf回调函数中做到这一点？
2. 我如何知道所有 apply_sync 调用的回调已完成，以便我可以返回所有 50 个 csvs 的串联数据帧？
3. 有没有更好、更有效的方法来做到这一点？

谢谢

Answer 1

编辑:仅当您有足够的可用 RAM 时才使用此解决方案。

from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
import pandas as pd
from glob import glob 

files = glob("*.csv")

def read_file(file):
    return pd.read_csv(file)

# I would recommend to try out whether ThreadPoolExecutor or 
# ProcessPoolExecutor is faster on your system:
with ThreadPoolExecutor(4) as pool:
    df = pd.concat(pool.map(read_file, files))
print(df)