python - 将 Excel 文件从 Python 读取到内存中并将工作表传递给 Pandas

Question

我想读入多个 pandas 数据帧，并读取多个 Excel 文件。

到目前为止我使用:

myfile           = filename
myfilecomplete = os.path.join(mypath,myfile)
df_data=pd.read_excel(myfilecomplete, sheet_name='DATA',skiprows=4, indexcol=1,usecols="A:i")

Excel 文件中大约有 10 张需要读取。因此，我对每张纸都重复了最后一行 10 次:

df_data2=pd.read_excel(myfilecomplete, sheet_name='Whatever',skiprows=3, indexcol=1,usecols="A:O")

等等...

观察每张纸的读取方式不同(列和起始行)

现在，这个过程需要相当长的时间。 Excel 文件不是很大(大约 3MB)，只有大约 1/3 的工作表有标题。

我正在努力寻找加速这一过程的方法。等待 10 秒太多了，因为这个过程必须由用户连续运行。

有什么想法吗？我认为使用 pd.read_excel 代码每次都会访问光盘来读取工作表，而将 Excel 工作表加载到内存中并从那里解析工作表似乎更合乎逻辑。那会有帮助吗？你是怎么做到的？

我还是个初学者，但我多次听到有关并发和并行计算的内容，这对我有帮助吗？

谢谢。

Answer 1

您可以使用 ExcelFile 一次性读取整个文件，然后读取其中的各个工作表。

xlFile = pd.ExcelFile(myfilecomplete)
df_data = pd.read_excel(xlFile, sheet_name='DATA',skiprows=4, indexcol=1,usecols="A:i")
df_data2 = pd.read_excel(xlFile, sheet_name='Whatever',skiprows=3, indexcol=1,usecols="A:O")