python - Pandas 数据帧替换速度慢

Question

我有一个 Excel 文件 (.xlsx)，其中包含大约 800 行和 128 列，网格中的数据非常密集。大约有 9500 个单元格，我正在尝试替换使用 Pandas 数据框的单元格值:

xlsx = pandas.ExcelFile(filename)
frame = xlsx.parse(xlsx.sheet_names[0])
media_frame = frame[media_headers] # just get the cols that need replacing

from_filenames = get_from_filenames() # returns ~9500 filenames to replace in DF
to_filenames = get_to_filenames()

media_frame = media_frame.replace(from_filenames, to_filenames)
frame.update(media_frame)
frame.to_excel(filename)

replace() 需要 60 秒。有什么办法可以加快速度吗？这不是庞大的数据或任务，我期待 Pandas 移动得更快。仅供引用，我尝试对 CSV 格式的相同文件进行相同的处理，但节省的时间很少(replace() 大约 50 秒)

Answer 1

策略
创建 pd.Series 表示从文件名到文件名的 map。
stack 我们的 dataframe，map，然后 unstack

设置

import pandas as pd
import numpy as np
from string import letters

media_frame = pd.DataFrame(
    pd.DataFrame(
        np.random.choice(list(letters), 9500 * 800 * 3) \
          .reshape(3, -1)).sum().values.reshape(9500, -1))

u = np.unique(media_frame.values)
from_filenames = pd.Series(u)
to_filenames = from_filenames.str[1:] + from_filenames.str[0]

m = pd.Series(to_filenames.values, from_filenames.values)

解决方案

media_frame.stack().map(m).unstack()

---

时间

5 x 5 数据框

100 x 100

9500 x 800

9500 x 800
map 使用 series 与 dict
d = dict(zip(from_filenames, to_filenames))