python - 使用多个内核同时处理多个数据文件

Question

我有多个使用 python Pandas 库处理的数据文件。每个文件都是一一处理的，看任务管理器只用了一个逻辑处理器(大约在95%左右，其余的都在5%以内)

有没有办法同时处理数据文件？如果是这样，有没有办法利用其他逻辑处理器来做到这一点？

(欢迎修改)

Answer 1

如果您的文件名在列表中，您可以使用以下代码:

from multiprocessing import Process

def YourCode(filename, otherdata):
    # Do your stuff

if __name__ == '__main__':
    #Post process files in parallel
    ListOfFilenames = ['file1','file2', ..., 'file1000']
    ListOfProcesses = []
    Processors = 20 # n of processors you want to use
    #Divide the list of files in 'n of processors' Parts
    Parts = [ListOfFilenames[i:i + Processors] for i in xrange(0, len(ListOfFilenames), Processors)]

    for part in Parts:
        for f in part:
            p = multiprocessing.Process(target=YourCode, args=(f, otherdata))
            p.start()
            ListOfProcesses.append(p)
        for p in ListOfProcesses:
            p.join()