python - csv 和 xlsx 文件导入到 pandas 数据框 : speed issue

Question

从 xlsx 文件中读取数据(仅 20000 个数字)需要很长时间:

import pandas as pd
xlsxfile = pd.ExcelFile("myfile.xlsx")
data = xlsxfile.parse('Sheet1', index_col = None, header = None)

大约需要 9 秒。

如果我以 csv 格式保存相同的文件，则需要大约 25 毫秒:

import pandas as pd
csvfile = "myfile.csv"
data = pd.read_csv(csvfile, index_col = None, header = None)

这是 openpyxl 的问题还是我遗漏了什么？有没有其他选择？

Answer 1

xlrd支持 .xlsx 文件，这 answer建议至少支持 .xlsx 的 xlrd 测试版比 openpyxl 更快。

Pandas (11.0) 的当前稳定版本对 .xlsx 文件使用 openpyxl，但这已在下一个版本中更改。如果你想试一试，可以从GitHub下载开发版。